如果您的E-MapReduce(EMR)集群需要和集群之外的数据库同步数据,确保网络是联通的。本文以RDS、ECS自建和云下私有数据库三种情况为例,分别介绍如何配置网络。云数据库RDS Sqoop是用map任务同步数据,可以在任意节点上运行,而Sqoop任务...
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks,详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间,详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限,以允许DTS在源和目标数据库中创建库dts,用于做数据防循环复制。数据库 所需权限 创建及授权方式 RDS MySQL 高权限账号。创建数据库和账号。自建MySQL 待...
为了满足不同业务场景数据集成的诉求,Dataphin支持用户自定义当前系统不支持的RDBMS数据库(关系型数据库)类型的组件,并进行数据同步。您只需要准备关系型数据库的驱动,即可自定义RDBMS数据库类型的组件。本教程以MySQL为例,为您介绍...
为了满足不同业务场景数据集成的诉求,Dataphin支持用户自定义当前系统不支持的RDBMS数据库(关系型数据库)类型的组件,并进行数据同步。您只需要准备关系型数据库的驱动,即可自定义RDBMS数据库类型的组件。本教程以MySQL为例,为您介绍...
源端 目标端 OceanBase 数据库 RocketMQ(阿里云 RocketMQ 实例)OceanBase 数据库 RocketMQ(VPC 内自建 RocketMQ 实例)OceanBase 数据库 RocketMQ(公网 RocketMQ 实例)操作步骤 登录 OceanBase 管理控制台,购买数据同步项目。...
本文为您介绍如何创建 OceanBase 数据库 MySQL 租户(简称为 OB_MySQL)至 OceanBase 数据库 MySQL 租户的数据同步项目。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为 OceanBase 数据库创建专用于数据...
已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户,并为其赋予了相关权限。详情请参见 创建数据库用户。使用限制 数据同步的对象仅支持物理表,不支持其他对象。数据传输支持的 Kafka 版本为 V0.9、V1.0 和 V2.x。数据同步...
已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户,并为其赋予了相关权限。详情请参见 创建数据库用户。使用限制 选择全量同步时,数据传输仅支持同步具有唯一键的表。同步 DDL 仅支持 BLOB 类型的 Topic。数据同步过程中,...
概述 本文主要介绍如何将MySQL数据库内的数据...通过MySQL数据库的主从数据同步的方式,实现实时同步数据。阿里云有开源的Canal数据同步软件支持实时同步。通过第三方同步软件来实现实时同步数据。适用于 数据传输服务 DT S 云数据库 MySQL 版
概述 描述了管道任务从SQL Server向ODPS同步数据,报错“连接数据库失败”的原因及解决方法。问题描述 SQL Server数据源测试连接成功,但是在管道任务中提示连接数据库失败。具体日志如下:问题原因 在Shell中telnet该数据源,发现该数据源...
常见的支持离线数据同步的数据库包括:RDS for MySQL、Oracle、Polar DB、SQL Server等。说明 如需查看更多支持的数据库,请参见 支持的数据源与读写插件。相关原理:MySQL Reader、Oracle Reader、PolarDB Reader、SQL Server Reader、...
已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户,并为其赋予了相关权限。详情请参见 创建数据库用户。使用限制 数据传输支持的 AnalyticDB MySQL 版本为 V3.0。数据传输仅支持同步库名、表名和列名为 ASCII 码且不包含特殊...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException:ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
如果源或目标数据库是阿里云数据库实例(例如 RDS MySQL、云数据库MongoDB版 等),DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中;如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...
问题描述 Dataphin中将MaxCompute数据同步到MySQL数据库,运行报错“ErrorCode=MethodNotAllowed,ErrorMessage=schema evolution table operations through tunnel is disabled”。完整异常如下:2022-06-02 14:38:30.029[job-0]ERROR ...
如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
警告 由于此场景属于异构数据库间的数据同步,数据类型无法一一对应,可能会导致任务失败或数据丢失,请谨慎评估数据类型的映射关系对业务的影响,详情请参见 结构初始化涉及的数据类型映射关系。不支持结构初始化的结构对象有:assemblies...
术语对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB PostgreSQL Database Schema Table Table 操作步骤 购买数据同步作业,详情请参见 购买流程。说明 购买时,选择源实例为 PolarDB、目标实例为 AnalyticDB PostgreSQL,并选择同步...
同步数据库字典元数据。接口说明 仅管控模式为安全协同的数据库实例可调用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API...
已为目标端 OceanBase 数据库 Oracle 租户创建专用于数据同步项目的数据库用户,并为其赋予了相关权限。详情请参见 创建数据库用户。如果您需要进行增量同步,请完成以下前置操作:增量同步时,数据传输不支持 DDL 的自动同步。如果待同步...
背景信息 由于TiDB的Binlog格式和实现机制与MySQL数据库存在一定区别,为实现增量数据同步,同时减少对源数据库的改动,您需要部署Kafka集群以及TiDB数据库的Pump和Drainer组件。由Pump组件实时记录TiDB产生的Binlog并提供给Drainer组件,...
DML操作:INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 所需权限 授权方法 RDS SQL Server实例 待同步数据库的所有者权限。修改账号权限 云原生数据仓库AnalyticDB PostgreSQL实例 LOGIN权限。目标表的SELECT、CREATE、INSERT、...
DML操作:INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 所需权限 授权方法 RDS SQL Server实例 待同步数据库的所有者权限。修改账号权限 云原生数据仓库AnalyticDB PostgreSQL实例 LOGIN权限。目标表的SELECT、CREATE、INSERT、...
概述 本文主要介绍数据同步过程中源实例的数据库名、表名、列名是否可以包含横线(-)符号。详细信息 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。如果您对实例(包括但不限于...
产品名称 Dataphin 产品模块 数据集成 概述 管道任务中来源表数据总数和管道任务同步的数据总数不一致。但是去掉切分键后,再运行任务数据量一致 问题描述 客户管道任务抽取SqlServer数据时,查询来源表数据总数和管道任务同步的数据总数不...
概述 本文主要介绍将MaxCompute数据库表更新的字段同步到数据集的方法。详细信息 Quick BI如何操作,可以将MaxCompute数据库表更新的字段同步到数据集?方法如下:在数据源中找到已创建的MaxCompute数据源,点击同步按钮。在已创建的数据...
如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...
其他限制 DTS是基于 Db2 for LUW 的CDC复制技术,将 Db2 for LUW 数据库的增量数据同步到目标库中。CDC复制技术存在自身限制,详情请参见 CDC复制技术所支持数据类型的限制。执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期...