并行元数据锁同步
通过并行MDL同步功能，PolarDB 将MDL同步操作与Redo Log的解析操作解耦，实现了即使在等待MDL锁信息进行同步时，只读节点仍能继续解析并应用Redo Log。使用方法 该功能默认开启，无需额外操作。您可以在只读节点上使用如下SQL语句，获取...
执行同步任务
背景信息 执行同步任务的说明：如果您创建的同步任务的调度类型为 周期任务，则不需要执行同步任务，系统会每天自动生成调度任务。如果您创建的同步任务的调度类型为 手动任务，则需要您手动触发调度任务。操作步骤 登录 Dataphin控制台。...
注册中心同步集群
新增Nacos-Nacos同步任务 在 新增同步任务 页面，填写同步任务相关配置信息：参数 说明 同步集群 选择已新建的同步集群。具体操作，请参见 步骤二：配置注册中心同步集群。源注册中心 根据需要，选择已新建的注册中心作为源注册中心。具体...
从自建MySQL同步至云消息队列 Kafka 版
通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至 云消息队列 Kafka 版，扩展消息处理能力。前提条件 您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...
从PolarDB MySQL版同步到Kafka
配置 同步策略和 同步对象信息。配置 说明 投递到kafka的数据格式 同步到Kafka集群中的数据以avro格式或者Canal Json格式存储，定义详情请参见 Kafka集群的数据存储格式。同步到Kafka Partition策略 根据业务需求选择同步的策略，详细介绍...
账户同步-应用同步给 IDaaS
企业可能希望使用应用作为账号管理源，并将信息即时同步给 IDaaS。 具体支持方式请参考：账户/组织同步。IDaaS 对企业的应用开发者开放 API 供调用，以实现账户/组织信息的导入和同步，详情请参考 应用 API 开放。
从PolarDB MySQL版同步到Kafka
配置 同步策略和 同步对象信息。配置 说明 投递到kafka的数据格式 同步到Kafka集群中的数据以avro格式或者Canal Json格式存储，定义详情请参见 Kafka集群的数据存储格式。同步到Kafka Partition策略 根据业务需求选择同步的策略，详细介绍...
容器资产管理
同步ACR资产 针对阿里云容器镜像服务ACR（Alibaba Cloud Container Registry）企业版，您可以单击目标镜像仓 操作 列的 同步，开启ACR资产自动同步。开启后，在ACR新增的资产将自动更新至云安全中心镜像资产列表。扫描容器镜像 云安全中心...
从RDS同步至自建Kafka集群
配置 同步策略和 同步对象信息。配置 说明 投递到kafka的数据格式 同步到Kafka集群中的数据以avro格式或者Canal Json格式存储，定义详情请参见 Kafka集群的数据存储格式。同步到Kafka Partition策略 根据业务需求选择同步的策略，详细介绍...
GetDIJob
结构同步错误信息 FullMigrationTotalTables：全量同步表总数 FullMigrationSuccessTables：全量同步表成功数 FullMigrationFailedTables：全量同步表失败数 FullMigrationStatus：全量同步状态 FullMigrationErrorMessage：全量同步错误...
从ECS上的自建MySQL同步至自建Kafka集群
支持的同步架构 1对1单向同步 1对多单向同步 多对1单向同步 级联单向同步 准备工作 在正式配置数据同步作业之前，您需要 为自建MySQL创建账号并设置binlog。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 ...
GetUserProvisioningEvent-查询RAM用户同步事件
调用GetUserProvisioningEvent查询RAM用户同步事件信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
从ECS上的自建MySQL同步至自建Kafka集群
支持的同步架构 1对1单向同步 1对多单向同步 多对1单向同步 级联单向同步 准备工作 在正式配置数据同步作业之前，您需要 为自建MySQL创建账号并设置binlog。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 ...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
从自建MySQL同步至阿里云消息队列Kafka版
通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至消息队列Kafka版，扩展消息处理能力。前提条件 自建MySQL的数据库版本为5.1、5.5、5.6、5.7或8.0版本。目标Kafka实例的版本为0.10.1.0-2.x版本。目标Kafka实例...
GDB中配置ES信息
如果您配置完ES的信息，并指定完点边需要导入的字段后，您就可以通过以下命令将GDB的数据增量同步至ES中了。curl-u${username}:${password}"http://${your-gdb-endpoint}:8182/controller/es/beginSync"查看点和边在ES中的index取值。该...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
DescribeExpressSyncs
调用DescribeExpressSyncs可以查询指定的极速同步组。包括极速同步组名称、极速同步组ID、Bucket名称等详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例...
从通过专线、VPN网关或智能接入...同步至自建Kafka集群
支持的同步架构 1对1单向同步 1对多单向同步 多对1单向同步 级联单向同步 准备工作 在正式配置数据同步作业之前，您需要 为自建MySQL创建账号并设置binlog。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 ...
从通过专线、VPN网关或智能接入...同步至自建Kafka集群
支持的同步架构 1对1单向同步 1对多单向同步 多对1单向同步 级联单向同步 准备工作 在正式配置数据同步作业之前，您需要 为自建MySQL创建账号并设置binlog。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 ...
PolarDB-X间的数据实时同步
说明 结构初始化：将源库中待同步对象的结构定义信息，同步至目标库中。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，源和目标实例均选择为 PolarDB-X（原DRDS升级版），并选择同步拓扑为 单向同步。登录 数据传输控制台...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
查看数据迁移项目的详情
同步对象统计 页签为您展示表级别的统计 DML 数量，在该页签上方的变更总和、Delete、Insert 和 Update 显示的数据为当前数据迁移项目中所有的 DML 数量，即增量同步对象页签统计的数量之和。如果您开启 DDL/DML 统计功能之后又关闭了该...
MySQL数据源
实时同步MySQL数据报错 实时同步MySQL数据源时速度为什么会变慢？MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？如何处理编码格式设置/乱码问题导致的脏...
管理共享
计费更多信息，请参见 极速同步 背景信息中的说明。高级设置 选中 高级设置 后，出现 高级设置 配置页。在 高级设置 页签中，完成如下配置并单击 下一步。参数 说明 模式 复制模式：所有数据都会保存两份拷贝，一份保存在本地缓存，另一份...
DTS同步数据到AnalyticDB MySQL时出现“modify ...
问题描述 数据同步过程中，出现 'id' is LONG type,Can't change column type to DECIMAL 或者 modify precision is not supported,col=id,type decimal,old=11,new=21 报错信息。问题原因 数据同步过程中，存在不支持修改的字段类型。解决...
Dataphin 同步任务是否可以使用视图
概述 本文描述了Dataphin 同步任务是否可以使用视图。详细信息 Dataphin 同步任务可以使用视图。如图所示，创建好视图后，在配置页面可以检索到，Mysql、Orcal均支持。适用于 Dataphin 版本：v2.9.4-3
从PolarDB MySQL版同步至PolarDB-X
说明 结构初始化：将源库中待同步对象的结构定义信息，同步至目标库中。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源集群为 PolarDB、目标实例为 PolarDB-X（原DRDS升级版），并选择同步拓扑为 单向同步。登录 ...
从RDS MySQL同步至PolarDB-X
说明 结构初始化：将源库中待同步对象的结构定义信息，同步至目标库中。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 MySQL、目标实例为 PolarDB-X（原DRDS升级版），并选择同步拓扑为 单向同步。登录 数据...
查看和修改同步对象
背景信息 数据同步项目在同步过程中，满足限制条件的情况下，您可以增加或减少同步对象。每一次运行的修改行为都会被记录。当增加对象任务执行完成后，会与关联的原项目合并。合并成功后，原项目正常运行，增加对象任务会自动释放。使用...
实践教程-供应商商品管理
配置各项信息的同步规则，执行 人工同步商品数据。人工同步规则请参考 人工同步规则说明。批量人工同步 勾选多个待同步的商品，单击 批量人工同步。配置各项信息的同步规则，执行 批量人工同步。人工同步规则请参考 人工同步规则说明。实践...
重置DTS实例
对于无需保留配置信息的同步或订阅实例，您可以执行重置操作，将实例恢复至未配置的状态，以便重新进行配置。前提条件 同步或订阅实例已完成 高级配置 阶段，并且已保存在 同步任务 或 订阅任务 列表页面。更多信息，请参见 同步方案概览 ...
基本概念
结构初始化：将源库中待同步对象的结构定义信息，同步至目标库中。全量数据初始化：将源库中待同步对象的存量数据，同步至目标库中。同步性能 同步性能是指每秒同步到目标库的记录数。单位为每秒记录数（RPS），详情请参见 数据同步链路...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
快速入门
本文为您介绍如何创建一个阿里云Logstash实例，并通过Logstash的管道配置，完成阿里云Elasticsearch实例间的数据同步。背景信息 在开始本文操作前，请先了解以下背景信息：什么是阿里云Elasticsearch 什么是阿里云Logstash 前提条件 注册...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
在云控制台上使用文件网关
如果您在 基本信息 页签中勾选了 加入同步组，则此选项不可用。反向同步时间间隔 设置 反向同步 为 是，可设置 反向同步时间间隔。最小值为15s，最大值为36000s，默认值为36000s。说明 如果Bucket内的对象比较多，建议反向同步间隔大于3600...
新建数据源
背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，...
GenerateDISyncTaskConfigForCreating
DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建数据集成离线同步任务，而数据集成实时同步任务和其他同步类型的任务则需要先调用 GenerateDISyncTaskConfigForCreating 和 QueryDISyncTaskConfigProcessResult 接口，获取异步生成...
新建数据源
背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选择 ...
- 产品推荐
- 这些文档可能帮助您