数据集成
离线同步任务 场景介绍 离线数据同步支持 源端单表同步至目标端单表、源端分库分表同步至目标端单表 两类同步场景。同时，结合DataWorks调度参数，可实现增量数据和全量数据周期性写入目标表的对应分区；再配合运维中心的补数据功能，可...
使用DataWorks（离线与实时）
说明 如果您创建表后，在导入数据时无法搜索到该表，您可以先在数据地图进行手工同步表操作后，再尝试搜索该表。手工同步操作，请参见 我的数据。单击左上角的，选择 全部产品>更多>上传与下载，然后单击左侧导航栏的 上传（图标），进入 ...
CREATE DATABASE AS（CDAS）语句
参数 说明 target_database 数据同步的目标数据库名，可以指定具体的Catalog名称。COMMENT 目标库的描述，默认使用source_database的描述。WITH 目标库的参数，详情请参见 管理元数据 中对应的Catalog文档。说明 key和value都需要为字符串...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
本文以RDS MySQL数据源为例，介绍如何通过DTS将RDS MySQL数据实时同步至 AnalyticDB MySQL版 2.0 中。前提条件 根据 RDS MySQL快速入门，准备好测试...进入 AnalyticDB MySQL版控制台，在 ads_DataBase 数据库中可以查看到同步过来的数据表。
RDS PostgreSQL间的双向同步
说明 若勾选了 库表结构同步，DTS会将源数据库中待同步表的结构（包含外键）同步到目标数据库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据...
我是DBA
库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而保证环境之间的结构一致性。数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入...
我是安全管理员
库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而保证环境之间的结构一致性。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据导入 通过数据导入功能可以批量将...
数据集成侧同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
通过一键建仓同步至数仓版
一键建仓链路不支持修改同步的库表对象，例如不支持手动移除或添加同步表等。应用场景 一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，同时提供了高性价比的 AnalyticDB MySQL版 存储计算资源方案。一键建仓适用于...
自建PostgreSQL同步至RDS PostgreSQL
说明 若勾选了 库表结构同步，DTS会将源数据库中待同步表的结构（包含外键）同步到目标数据库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据...
Oracle数据源
说明 数据库容器CDB（Container Database）是Oracle 12c及之后版本的数据库新特性，用于承载多个可插拔数据库PDB（Pluggable Database）。使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...
通过一键建仓同步至数仓版
一键建仓链路不支持修改同步的库表对象，例如不支持手动移除或添加同步表等。应用场景 一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，同时提供了高性价比的 AnalyticDB MySQL版 存储计算资源方案。一键建仓适用于...
同步时源库为SQL Server的注意事项及限制
源库为SQL Server的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：SQL Server MySQL（RDS MySQL、自建MySQL）...
实时数据同步
可应用于数据异地灾备、数据库扩缩容、跨境数据同步、查询与报表分流、云 BI（商业智能工具）及实时数据仓库等多种业务场景。支持的同步链路 数据源端 数据目的端 支持的拓扑 备注 MySQL Zsearch（云搜）单向同步 已支持 OceanBase ODPS、...
RDS PostgreSQL间的单向同步
说明 若勾选了 库表结构同步，DTS会将源数据库中待同步表的结构（包含外键）同步到目标数据库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据...
RDS PostgreSQL间的双向同步
说明 若勾选了 库表结构同步，DTS会将源数据库中待同步表的结构（包含外键）同步到目标数据库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据...
自建PostgreSQL同步至RDS PostgreSQL
数据库账号的权限要求 数据库 所需权限 创建账号及授权方式 自建PostgreSQL数据库 superuser CREATE USER 和 GRANT 语法。RDS PostgreSQL 实例 schema的owner权限 RDS PostgreSQL 实例请参见 创建账号。准备工作 说明 如下所示为Linux系统...
MySQL整库同步Kafka
为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的能力，通过引入Kafka作为中间层，并使用CDAS整库同步或CTAS整表同步到Kafka来解决。具体操作是使用CDAS或CTAS语法，在一个作业里将上游的MySQL的数据...
一键建仓
同步方式 支持的选项（多选）：结构初始化（默认）：同步表结构至目标数据库，如果有重名的表会导致报错。全量（默认）：同步全量数据至目标数据库。增量：同步增量数据至目标数据库，无法取消。同步范围 支持的选项：全库（默认）：同步...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
PolarDB-X 2.0同步至MaxCompute
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。若在DTS同步...
CREATE TABLE AS（CTAS）语句
单表同步时，不会同步数据库名称和表名称。如果您需要同步数据库名称和表名称，请使用SQL命令创建Catalog，并添加catalog.table.metadata-columns参数。详情请参见 SQL命令。不支持同步MySQL视图。消息队列Kafka√无。MongoDB√暂不支持分...
OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
影子表同步
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>结构变更>影子表同步。在 库表同步工单申请 页面，配置工单参数。部分参数说明如下：参数 说明 来源库 搜索并选择创建影子表的来源库。说明 您...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
结构比对
背景信息 ODC 的结构比对功能支持将同一项目下、同类型数据源的数据库对象结构进行对比分析，并生成变更脚本。...相关文档 SQL 编辑和执行 PL 编译和调试 结果编辑与导出 执行分析 生成测试数据 数据库变更管理 无锁结构变更 影子表同步
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Kafka。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的...
使用Tapdata Cloud导入MySQL数据
通过Tapdata Cloud的可视化界面，您可以将自建MySQL、阿里云RDS MySQL、第三方云数据库的数据实时同步到表格存储。前提条件 使用Tapdata Cloud同步MySQL数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储...
将自建ClickHouse向企业版迁移
CREATE DATABASE db 使用源集群的 CREATE TABLE 语句，在目标数据库上创建表。CREATE TABLE db.table.在目标集群上创建表，使用来自源集群的 SELECT CREATE_TABLE_QUERY.的输出。允许源集群上的远程操作。为了从源集群到目的集群地读取数据...
MySQL一键实时同步至MaxCompute
综合如上分析结果，最终的表对应关系如下所示：源端数据库 源端待同步表 写入的目标表 目标表新增字段 doc_demo1 doc_tb1 ods_tb1 execute_time doc_tb2_nopk ods_tb2_nopk 操作流程 创建同步任务 步骤一：选择同步方案 步骤二：配置网络...
MySQL一键实时同步至MaxCompute
综合如上分析结果，最终的表对应关系如下所示：源端数据库 源端待同步表 写入的目标表 目标表新增字段 doc_demo1 doc_tb1 ods_tb1 execute_time doc_tb2_nopk ods_tb2_nopk 操作流程 创建同步任务 步骤一：选择同步方案 步骤二：配置网络...
API概览
SyncDatabaseMeta 同步数据库元数据 同步数据库字典元数据。工单操作 API 标题 API概述 通用 通用 CreateOrder 创建工单 创建工单。GetApprovalDetail 获取工单审批详情 调用GetApprovalDetail获取工单审批详情。ListOrders 获取工单列表...
新增多表实时任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
DescribeSynDbs-查看同步db
7655F5F9-1313-5ABA-8516-F6EB79605A5F SynDbs object[]同步数据。RdsId string 云数据库 RDS MySQL 的实例 ID。rm-wz9d11qg1j0h4*SynDb string 云数据库 RDS MySQL 的数据库。database SynStatus boolean 同步是否成功，取值说明：true：...
自动同步PolarDB-X元数据
注意事项 同步数据时，会在 湖仓版（3.0）集群中创建与PolarDB-X 2.0实例中数据库和表同名的库表，因此在同步数据时需注意以下内容：若 湖仓版（3.0）集群中已经存在同名库和同名表，则会导致数据同步失败。若 湖仓版（3.0）集群仅存在同...
新增多表实时任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
通过脚本模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
- 产品推荐
- 这些文档可能帮助您