通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
网络时间同步助手
本文介绍如何通过函数计算部署网络时间同步助手，实现设备本地时间与网络时间同步。如果您的设备上已经安装了NTP服务，有和云端服务器周期性同步系统时间的能力，则无需操作本文内容。前提条件 本示例仅适用于Link IoT Edge专业版，在开始...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
离线同步读取MongoDB数据
DataWorks的数据集成为您提供MongoDB Reader插件，可从MongoDB中读取数据，并将数据同步至其他数据源。本文以一个具体的示例，为您演示如何通过数据集成将MongoDB的数据离线同步至MaxCompute。背景信息 本实践的来源数据源为MongoDB，去向...
部分地域升级迁移指引
数据同步拓扑介绍 对于RDS PostgreSQL，您还可以选择其自带的跨地域同步能力，更加简单的完成同步。RDS PostgreSQL实例跨地域迁移 对于HBase 或 Lindorm，您可以选择其配套的LTS（Lindorm Tunnel Service），完成数据传输。HBase数据迁移 ...
Java SDK 接入
本文介绍如何以 Java SDK 的方式在服务端接入数据同步服务。引入 Jar 包 完成 Maven 配置后，在主控 pom.xml 文件中引入如下依赖：<dependency><groupId>...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
MySQL整库周期性增全量同步至MaxCompute
本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以...
全球数据库常见问题
主集群开启 loose_polar_log_bin 参数，Binlog同步仅限于主集群内部节点之间同步，主集群的Binlog不会同步到从集群。从集群开启 loose_polar_log_bin 参数，只会记录在配置文件中，从集群内部并没有进行Binlog同步，也不会连接主集群进行...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
实时同步常见问题
本文为您介绍实时同步的相关问题。文档概述 问题分类 相关文档 实时同步任务配置须知 实时同步任务支持哪些数据源？为什么实时同步任务延迟较大？实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时...
Hologres整库周期性增全量同步至MaxCompute
本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何把Hologres整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Hologres作为来源...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本文以AnalyticDB for MySQL3.0离线同步写入Hologres场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的数据离线同步到Hologres。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。...
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
仓库同步
针对三方导入的代码库，默认同步功能模块已启用（“启用”指允许该代码库使用同步功能，但何时触发同步需要在功能内设置），如后续不再有同步需求，可手动关闭同步服务，在源文件页面也将不再显示同步状态标识。步骤二：设置授权账号 设置...
管理共享
加入同步组 开启该共享的极速同步功能，将其加入同步组，对该共享的Bucket中数据进行的任何改动都会自动同步至共享的本地客户端。开启该选项后，该共享的反向同步选项将自动关闭。说明 要选择该选项，您必须提前创建一个同步组，且同步组的...
使用MaxCompute访问
本章节介绍如何使用DataWorks实现MaxCompute与文件引擎之间的双向数据同步。您可以将MaxCompute数据同步至文件引擎，也可以将文件引擎的数据同步至MaxCompute。说明 请确保Maxcompute、文件引擎、Dataworks在同一个地域（region）下。准备...
天任务依赖分钟任务最佳实践
数据同步节点用来同步每5分钟调度一次的MySQL数据至MaxCompute。ODPS SQL节点用来汇总MaxCompute接收的数据。单击工具栏中的 图标。配置作为分钟任务的离线同步节点。双击离线同步节点，进入该节点的编辑页面。选择 数据来源 和 数据去向。...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
CreateRepoSyncRule-创建镜像仓库同步规则
创建镜像仓库同步规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
通过DTS将PolarDB MySQL数据同步至阿里云Elastic...
当您在使用PolarDB MySQL遇到查询慢的问题时，可以通过数据传输服务DTS（Data Transmission Service），将企业线上的PolarDB MySQL中的生产数据实时同步到阿里云Elasticsearch中进行搜索分析。本文介绍具体的实现方法。背景信息 本案例需要...
导出全量数据到OSS
自定义的行分隔符，用来分隔不同数据行。例如配置为 \u0001。您需要使用数据中不存在的分隔符作为行分隔符。如果要使用Linux或Windows平台的默认行分隔符（、\r）建议置空此配置，平台能自适应读取。编码 当设置 文本类型 为 text 或 csv ...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
- 产品推荐
- 这些文档可能帮助您