创建AnalyticDB for PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
通用参考：添加路由
数据源和DataWorks工作空间使用不同阿里云主账号或不在同一个地域时，选择 路由至IDC网络。路由至其他VPC网络 登录 DataWorks控制台。在左侧导航栏，单击 资源组列表。单击已购买的独享调度资源组后的 网络设置，默认进入 专有网络绑定 页...
BigQuery数据源
配置BigQuery的网络连接 在DataWorks上进行数据同步前，您需要将BigQuery的网络与数据集成的独享资源组打通，使之通过内网地址进行访问。网络打通的具体方法可参考：配置资源组与网络连通。数据同步任务开发 BigQuery数据同步任务的配置...
使用限制
数据备份与恢复 仅支持通过云数据库MongoDB工具（mongodump和mongorestore）备份与恢复数据库，具体请参见 使用MongoDB工具备份与恢复MongoDB Serverless版实例。数据安全性 仅支持设置白名单，设置方法请参见 设置白名单。不支持设置SSL...
使用限制
数据备份 不支持 物理备份 和 逻辑备份。仅支持 快照备份。说明 快照备份可以保留某一时间点的磁盘数据状态。不支持 快照备份。支持 物理备份 和 逻辑备份。说明 当实例的数据库版本为MongoDB 3.2或MongoDB 3.4时，实例中集合加索引的数量...
数据模型架构规范
它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common Data Model，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可...
数据源概述
数据源权限管控 完成数据源配置后，您可以对数据源进行分享与权限管控。DataWorks支持您在数据源管理页面，分享数据源权限给相应的工作空间或个人，并进入被分享的工作空间查看该数据源。您可以对数据源设置 可编辑、可查看 等权限控制。...
功能特性
数据容灾 为进一步满足业务场景中高可靠性和数据安全需求，云数据库MongoDB版提供了同城容灾 和异地容灾两种 解决方案。同城容灾：您可以在创建实例时选择多可用区，详情请参见 创建多可用区副本集实例 或 创建多可用区分片集群实例；您也...
创建SAP HANA数据源
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将...
我是DBA
操作日志 操作日志中保存了数据变更记录，您可以随时在其中追溯变更时间、变更人、执行的操作等信息。敏感数据管理 在敏感数据管理中，可以对表中的敏感数据进行添加算法、调整安全级别等操作。数据水印 可在文件中嵌入水印或将文件的水印...
独享数据服务资源组
网络连通方案 在发起API调用请求时，请求会下发至数据服务的服务器，并被进一步转发至数据源中执行数据查询，因此，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性。独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等...
API概览
本产品（云数据库 ...全球数据库网络（GDN）管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据库网络 创建一个新的全球数据库网络（GDN）。DeleteGlobalDatabaseNetwork 删除全球数据库网络 删除全球数据库网络（GDN）。...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
我是管理员
操作日志 操作日志中保存了数据变更记录，您可以随时在其中追溯变更时间、变更人、执行的操作等信息。访问IP白名单 设置IP白名单可以隔离目标IP以外的所有访问，有效提高数据库安全性。敏感数据管理 在敏感数据管理中，可以对表中的敏感...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
创建PolarDB-X数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
系统管理
系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。详情请参见 配置资源组与网络连通。数据上传：引擎限制：仅支持将数据上传至MaxCompute、EMR Hive、Hologres引擎。资源组限制...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
离线同步任务调优
BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少数据同步与数据库网络交互次数，并提升吞吐量。但如果该值设置过大，会导致数据同步运行进程OOM异常。出现上述报错后，请参见：离线同步常见问题。附录：查看实际...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
常见问题
由于更新后的数据重新记录了时间戳，因此冷数据更新后变为热数据。Q：我只想查询热数据，为什么还返回了冷数据？A：查询语句可以通过设置 HOT_ONLY/_l_hot_only_仅查询热数据。但由于数据归档至冷存储的操作是周期性触发的，因此有部分冷...
PolarDB PostgreSQL版间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
通过DTS导入数据
DTS支持迁移全量数据及增量数据，您可以通过DTS迁移MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）同步或迁移至 云数据库 SelectDB 版，并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
Db2 for LUW同步至PolarDB MySQL版
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
PolarDB-X 2.0同步至自建Oracle
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service），支持将在数据管理（Data Management，简称DMS）配置的逻辑库同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已在数据管理...
RDS MySQL同步至RDS PostgreSQL
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
PolarDB-X 2.0间的单向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
MySQL节点
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保独享调度资源组和MySQL数据库的网络已连通，关于独享调度资源组网络连通方案，详情请参见：绑定专有网络。配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL...
专业术语
points per second 这是一个现在已经弃用的术语，原来表示数据写入TSDB For InfluxDB®的速率，因为TSDB For InfluxDB®的数据模型（schema）允许甚至鼓励每个数据点记录多个测量值（metric），所以这个概念有歧义。写入速率现在通常是按...
新增和使用独享调度资源组
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 配置...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
添加白名单
保障资源组与数据源之间网络连通后，您还需保障资源组与数据源之间不会因为白名单的限制而无法进行数据访问，例如，部分数据源设置白名单后会不允许白名单外的IP访问，您需要将资源组的IP添加至数据源的白名单中。本文为您介绍白名单相关...
附录：消息格式
op 对应源端读取到的消息类型，取值如下：INSERT：数据插入 UPDATE_BEFOR：数据更新前 UPDATE_AFTER：数据更新后 DELETE：数据删除 TRANSACTION_BEGIN：数据库事务开始 TRANSACTION_END：数据库事务结束 CREATE：数据库建表 ALTER：数据库...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
- 产品推荐
- 这些文档可能帮助您