异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
Cassandra
云数据库Cassandra是基于开源Apache Cassandra，融合阿里云数据库DBaaS能力的分布式NoSQL数据库。本文主要介绍如何通过DLA Serverless Spark访问云数据库Cassandra。前提条件 已经开通对象存储OSS（Object Storage Service）服务。具体操作...
资源规划和配置
在调用API时会消耗一定的资源组，为了防止资源组不能正常访问数据源，或资源（CPU、内存）不足导致API调用异常、高频调用请求被限流等问题，您需要确保资源组的网络连通性和充足的性能。本文为您介绍资源组规划时的注意项及不同资源组类型...
API列表
CountNodesByNodeGroupId 获取符合分组条件的节点数量 计量统计相关API API 描述 ListGatewayTransferPackets 获取网关上下行数据包 GetGatewayTransferPacketsDownloadUrl 获取网关上下行数据CVS文件 ListNodeGroupTransferPackets 获取...
创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
功能更新动态（2024年）
创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以...
配置VPC数据源
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
计费常见问题
DBS网络包 抵扣对象 说明 跨地域备份网络用量 DBS网络包当前全球地域通用，您可在购买后用于抵扣不同地域的 RDS MySQL、RDS PostgreSQL、RDS SQL Server 和 PolarDB MySQL版 跨地域备份网络费用，具体将根据不同地域以不同的系数进行抵扣。...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
包的组成部分
PolarDB PostgreSQL版（兼容Oracle）的包是由包规格和包正文两个主要的部分构成的。包规格：这是一个公有接口（公有成员可以在包的外部引用）。我们在包定义中声明所有包含在包中数据库对象。包正文：包含包定义内部声明的所有数据库对象的...
控制台发布记录
9月26日 将AI模型推理结果写回数据库 自助退订 计算包或 存储包 PolarDB MySQL版 支持在控制台自助退订 计算包或 存储包。9月22日 退订固定规格计算包或存储包 PolarDB for AI集成通义千问-7B大模型 PolarDB for AI上线集成通义千问-7B大...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
使用存储包
存储包是 数据库备份DBS 推出的一种预付费资源包，支持抵扣同一账号下备份实例的内置存储费用、CDM沙箱功能的存储费用 以及MongoDB等云数据库的备份存储费用，抵扣部分不再计费，仅超出部分将按使用量计费。本文介绍DBS存储包的计费规则...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
桌面版开发工具使用说明
数据：数据页面包含了组件的数据接口配置，数据页的数据一旦改动，组件都会进行相应的改动。单击右上的 保存，可以保存当前修改的数据，并将当前数据作为此组件的默认数据。交互：交互页面包含了组件的交互说明。发布：发布页面包含了组件...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
桌面版开发工具使用说明
数据：数据页面包含了组件的数据接口配置，数据页的数据一旦改动，组件都会进行相应的改动。单击右上的 保存，可以保存当前修改的数据，并将当前数据作为此组件的默认数据。交互：交互页面包含了组件的交互说明。发布：发布页面包含了组件...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
使用限制
数据库小版本 如果您的数据库小版本过期或者不在维护列表内，当执行实例版本升级、数据迁移、变更实例配置或数据恢复等操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库小版本升级至最新版。数据库连接 不支持切换网络类型...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
云数据库MongoDB版数据安全最佳实践
网络隔离 使用专有网络 云数据库MongoDB版支持多种网络类型，推荐使用专有网络。专有网络是一种隔离的网络环境，安全性和性能均高于传统的经典网络。专有网络需要事先创建，详情请参见 创建专有网络。当MongoDB实例为经典网络时，您可以将...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
网络方案概述
VPC网络连接：VPC网络是一种虚拟化的私有网络环境，您可以在阿里云VPC私有网络环境中创建虚拟网络、子网、路由表等网络设备，并且可以通过VPN或专线等方式将VPC连接到阿里云的VPC中，构建私有网络环境。适用于对网络安全有较高要求的场景，...
功能特性
云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。本文介绍云数据库MongoDB版的功能特性。架构灵活 云数据库...
备份存储（超出免费额度）计费规则
计算公式：1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量，超出部分将正常按容量计费（按量付费）。具体的抵扣规则如下：地域类型 抵扣...
备份存储（超出免费额度）计费规则
计算公式：1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量，超出部分将正常按容量计费（按量付费）。具体的抵扣规则如下：地域类型 抵扣...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
独享数据服务资源组
网络连通方案 在发起API调用请求时，请求会下发至数据服务的服务器，并被进一步转发至数据源中执行数据查询，因此，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性。独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等...
MySQL节点
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保独享调度资源组和MySQL数据库的网络已连通，关于独享调度资源组网络连通方案，详情请参见：绑定专有网络。配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
故障诊断
抓取性能数据 进入应用控制台，点击想查看的应用 实例 按钮，进入对应的实例即可查看 Node.js 性能平台提供的 抓取性能数据 功能，如下图所示：一般来说，如果涉及到内存泄漏的，可以抓取 堆快照，如果是 CPU 异常飙高的，可以抓取 CPU ...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
大数据AI公共数据集分析
本文以分析公共数据集的数据示例，为您展示如何使用DataWorks进行简单数据分析工作。本教程以申请免费资源为例为您展示详细操作步骤，您也可以使用付费资源，操作类似。教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、...
升级
可选增值功能包 描述 数据萃取 面向各行各业数据价值深度挖掘的诉求，数据萃取为您提供可视化的ID链接、行为解析和标签萃取，进一步帮助您提炼可直接应用的高价值标签数据，助力您实现业务的融会贯通并驱动创新。数据服务 数据服务为您提供...
使用RDS MySQL时报“SELECT command denied to user '...
使用Wireshark软件抓包，抓取本机发出的实际请求。在Wireshark界面中，依次选择 捕获>选项，在输入页签选择连接RDS的内网网卡，在输出页签填写输出的文件名，然后单击 开始。然后复现问题，问题复现后，停止抓包即可。打开生成的抓包文件，...
通过X2Doris导入数据
2.选择安装包 X2Doris底层采用Spark实现，推荐部署到有Hadoop、Yarn的大数据网络环境中，这样可以充分利用大数据的集群能力，能大大提高数据迁移的效率和速度。如果没有大数据环境也可以的，单机部署即可(X2Doris包含内置的Spark。如果没有...
- 产品推荐
- 这些文档可能帮助您