使用DataWorks或者DataX导入数据
使用开源DataX配置同步任务 从官网下载DataX安装包并解压。编辑配置文件。在DataX中，读取HBase增强版的插件为 hbase11xreader，此插件的具体配置可参见hbase11xreader的 配置示例。写入HBase增强版的插件为 hbase11xwriter，此插件的具体...
全球数据库常见问题
从集群开启 loose_polar_log_bin 参数，只会记录在配置文件中，从集群内部并没有进行Binlog同步，也不会连接主集群进行Binlog同步。在从集群切成主集群后，写入的Binlog只会追加在本集群Binlog文件上。反复切主之后，两个集群的Binlog一起...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
通过在DTS中配置从源（MySQL）同步到目标（Elasticsearch），可实现全量、增量数据同步。适用于对实时同步要求较高的关系型数据库中数据的同步场景或需要将关系型数据库中的全量或增量数据同步到阿里云Elasticsearch场景。前提条件 已创建...
管理微服务配置与Kubernetes ConfigMap
该控制器监听DynamicConfiguration资源，根据YAML中定义的内容将配置从Kubernetes集群中的ConfigMap同步至Nacos Server，或将配置从Nacos Server同步写入至Kubernetes集群中的ConfigMap。通过Kubernetes ConfigMap管理微服务配置时，...
PolarDB数据源
不配置时，默认为false，表示从主库读取数据。否 false column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。默认使用所有列配置，例如[*]。支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表Schema...
同步 API
在 基础信息 栏，选择要从当前环境同步 API 配置同步的 目标环境。选择 同步后状态：保持原样：跟当前环境的 API 配置保持不变。全部关闭：同步后的 API 状态置为关闭。在 所选 API 栏，选择需要同步的 API。点击 确定 按钮开始同步 API。...
从RDS MySQL同步至Tablestore
费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。同步初始化类型说明 同步初始化类型 说明 结构初始化 DTS将源库中待同步对象的结构定义信息同步至目标库，目前支持的对象为...
使用MaxCompute访问
如果配置从MaxCompute数据同步到文件引擎时，配置的数据去向的数据源为HDFS。如果配置从文件引擎同步数据到MaxCompute时，配置的数据来源的数据源为HDFS。根据提示使用脚本模式配置同步任务。在配置脚本中，添加文件引擎配置参数。同步数据...
通过DataWorks导入
您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述。操作步骤 新增MaxCompute数据源。具体操作，请参见 配置MaxCompute数据源。新增AnalyticDB MySQL...
通过DataWorks导入数据
您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述。操作步骤 新增OSS数据源。具体操作，请参见 配置OSS数据源。新增AnalyticDB MySQL数据源。具体操作...
PostgreSQL数据源
常见问题 主备同步数据恢复问题 主备同步问题指PostgreSQL使用主从灾备，备库从主库不间断恢复数据。由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的...
通过MySQL分析实例同步至数仓版
此时，您可以在RDS MySQL控制台上创建一个MySQL分析实例，MySQL分析实例的复杂分析性能约为MySQL的100倍，系统自动通过DTS将RDS MySQL主实例中的全量数据和增量数据实时同步到MySQL分析实例中。您无需关注数据如何入库，无需担心分析卡顿，...
从RDS原生实时同步
如果配置了该参数，系统从指定的备库同步而不从主库同步。回到 DataSync 首页，点击同步任务列表中的 同步表结构。在 表同步结构 页，在左侧选择栏选择源RDS实例的表结构，通过向右箭头将其选入右侧目标栏。如需撤回，可以选择右侧的目标表...
SQL Server数据源
常见问题 主备同步数据恢复问题 主备同步问题指SQL Server使用主从灾备，备库从主库不间断通过binlog恢复数据。由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从...
常见问题
如果业务对数据要求比较精确，您可以删除目标库的数据，然后重新配置同步任务，并在 任务步骤 同时选中 库表结构同步 和 全量同步（默认已选中 增量同步）。DTS全量同步任务长时间没进度，如何处理？若待同步的表为无主键的表，全量同步会...
DB2数据源
整库离线读同步配置指导 操作流程请参见 数据集成侧同步任务配置。常见问题 主备同步数据恢复问题 主备同步问题指DB2使用主从灾备，备库从主库不间断通过binlog恢复数据。由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会...
任务状态说明
任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 暂停同步 取消同步 已暂停 同步任务被暂停，处于暂停状态 查看同步配置 修改同步对象 重新启动任务 取消任务 已...
同步方案概览
例如，您可以参考 自建MySQL同步至RDS MySQL 配置从自建MySQL同步至云数据库专属集群MyBase中的MySQL实例。同步类型说明 同步类型 说明 库表结构同步 DTS将源库中待同步对象的结构定义信息（例如表、视图、触发器、存储过程等）同步至目标...
在云控制台上使用文件网关
如果文件写入后长时间不会修改，可以考虑使用标准类型或者低频类型的存储桶，然后以生命周期的方式修改文件的存储类型到归档类型或者冷归档类型，减少不必要的解冻动作，这种方案从成本以及效率的角度来看都更优于其他方案。步骤一：创建...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
下线配置
数据同步期间，如需暂停数据同步（例如数据出现问题，需要紧急停止同步），可以通过下线同步配置来实现。进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤将数据同步配置下线。操作步骤 在左侧导航栏点击 数据同步，进入数据...
使用DataWorks同步iGraph数据
本文为您讲解如何配置数据从MaxCompute一次同步全量数据至iGraph，以及配置周期任务同步增量数据。前提条件 1.已在阿里云官网购买DataWorks产品。2.已购买合适规格的独享数据集成资源组，独享数据资源组用于提供数据同步时使用的机器资源和...
项目模板同步配置
模板的同步开启/关闭 在创建模板后，服务同步配置如下：服务 同步配置 项目字段 默认开启同步，不可关闭。项目状态 默认开启同步，可关闭。自动化规则 默认开启同步，可关闭。通知 默认不开启同步，不可开启。角色权限 默认不开启同步，不...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
OceanBase 数据库 MySQL 租户之间的数据同步
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
查询数据同步操作记录
新建配置：展示新增的同步配置详情。修改配置：展示修改的配置信息,修改的内容将标红凸显。删除配置：展示被删除的同步配置。新建同步：展示新增的同步任务详情，包括推送对象 ID、数据内容、数据唯一 ID、客户端应用版本区间、推送数据...
数据同步
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
新增配置
一条同步配置相当于一个具体的数据推送的业务场景，而业务数据推送就是实现该配置所对应的业务场景。因此，在推送业务数据之前，需要先创建同步配置。进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤以新增配置。操作步骤 在...
使用数据传输同步数据
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
同步 OceanBase 数据库的数据至 RocketMQ
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
异地应用双活常见问题
最佳实践场景中，建议您配置推送的时候先推送一个单元，长时间灰度验证没问题后再进行另一个单元操作，因此不推荐自动同步配置。业务场景中以MySQL数据源为基准，会额外冗余到ES存储数据用于业务使用，ES数据是如何做同步？目前DTS支持...
从自建Redis集群同步至Redis集群实例
警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的 架构类型（例如将主从架构变更为集群架构），否则会导致数据同步失败。前提条件 自建Redis数据库的版本为2.8、3.0、3.2、4.0或5.0版本。说明 目标阿里云Redis集群实例支持...
从自建Redis集群同步至Redis集群实例
警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的 架构类型（例如将主从架构变更为集群架构），否则会导致数据同步失败。前提条件 自建Redis数据库的版本为2.8、3.0、3.2、4.0或5.0版本。说明 目标阿里云Redis集群实例支持...
从ECS上的自建Redis同步至Redis实例
警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的 架构类型（例如将主从架构变更为集群架构），否则会导致数据同步失败。前提条件 源Redis数据库的版本为2.8、3.0、3.2、4.0或5.0版本。说明 如需跨版本同步（仅支持从低版本...
从ECS上的自建Redis同步至Redis实例
警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的 架构类型（例如将主从架构变更为集群架构），否则会导致数据同步失败。前提条件 源Redis数据库的版本为2.8、3.0、3.2、4.0或5.0版本。说明 如需跨版本同步（仅支持从低版本...
Redis实例间的单向数据同步
警告 完成数据同步作业的配置后，请勿变更源数据库或目标数据库的 架构类型（例如将主从架构变更为集群架构），否则会导致数据同步失败。前提条件 源和目标Redis实例支持的版本，请参见 同步方案概览。说明 如需跨版本同步（仅支持从低版本...
- 产品推荐
- 这些文档可能帮助您