离线同步读取MongoDB数据
col_1","type":"string"} {"name":"col_2","type":"string"} {"name":"col_combine","type":"combine"} document共有字段4个，任务已配置非combine类型字段2个（col_1、col_2），同步任务运行时，会将col_1、col_2两个字段外的其他字段按...
导出全量数据到MaxCompute
如果需要使用MaxCompute备份 表格存储 数据或者迁移 表格存储 数据到MaxCompute中使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到MaxCompute后，您可以使用DataWorks数据分析功能查看...
整库离线同步至OSS
您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述。操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置...
采集数据
说明 在数据集成同步任务配置前，您可以在DataWorks的 数据源 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步任务配置过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。本教程提供数据...
采集数据
说明 在数据集成同步任务配置前，您可以在DataWorks的 数据源 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步任务配置过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。本教程提供数据...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
离线数据集成（DataWorks+MaxCompute）
在 DataWorks中配置数据集成的离线同步任务 通过向导模式配置离线同步任务 步骤一：新建离线同步节点：根据界面提示创建离线同步节点。步骤二：配置同步网络链接：选择离线同步任务的 数据来源、用于执行同步任务的 我的资源组，以及 数据...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
使用DataWorks
通过向导模式配置并运行数据同步任务 或 通过脚本模式配置并运行数据同步任务 以可视化或脚本模式配置并运行离线同步任务。确认同步结果 在目标数据源侧确认数据同步结果。添加MaxCompute数据源 具体操作请参见 创建MaxCompute数据源。添加...
创建同步任务
步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步任务，用于将 result_table 表中的数据写入至自己的MySQL数据库中。操作如下：进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 ...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
线下路由同步方式
线下路由同步方式为智能接入网关学习本地网络私网网段的方式。通过配置线下路由同步方式，智能接入网关可以学习到用户本地网络的私网网段并将私网网段自动同步至阿里云。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域...
ClickHouse整库数据离线同步至Hologres
本文以ClickHouse离线同步写入Hologres场景为例，为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。使用限制 ClickHouse离线同步仅支持阿里云ClickHouse 20.8、21.8版本。ClickHouse离线同步仅支持使用独享数据集成资源...
重新配置数据同步作业
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。按量付费：数据同步作业将转变为 未配置 状态并停止计费，再次完成数据同步...
常见问题
如果业务对数据要求比较精确，您可以删除目标库的数据，然后重新配置同步任务，并在 任务步骤 同时选中 库表结构同步 和 全量同步（默认已选中 增量同步）。DTS全量同步任务长时间没进度，如何处理？若待同步的表为无主键的表，全量同步会...
使用DataWorks或者DataX导入数据
云数据库HBase增强版提供LTS服务能够支持各种HBase版本之间相互迁移和实时同步，并且支持同步RDS、Loghub的实时数据到HBase，DataX是阿里巴巴集团内被广泛使用的离线数据同步工具，实现MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、...
数据同步作业怎么更改同步源实例
数据同步支持重新配置同步作业，如果您需要修改同步作业的源实例，那么可以使用 重新配置任务 功能，重新配置同步作业。
Hologres整库周期性增全量同步至MaxCompute
场景2：一次性全量周期性增量配置方式 当同步步骤选择 结构迁移、全量同步 和 增量同步 时，一次性全量周期性增量同步任务配置详情如下：选择同步表。您可根据在左侧 选择同步的源表 区域，选中Hologres中需要同步的源表，将其添加至右侧 ...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
详情请参见 场景1：周期全量配置方式、场景2：一次性全量周期性增量配置方式 场景1：周期全量配置方式 当同步步骤选择 结构迁移 和 全量同步 时，周期全量同步任务配置详情如下：选择同步表。您可根据在左侧 选择同步的源表 区域，选中...
MySQL整库周期性增全量同步至Hive
创建同步任务 登录并进入 数据集成子模块页面，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择 MySQL，去向数据源选择 Hive；根据同步场景...
同步配置
您可能需要为应用的多个环境同步配置，例如开发环境、测试环境等。或者您的应用部署在阿里云的不同地域上，需要跨地域同步配置。您可以创建多个命名空间，在其中一个空间中创建配置，再将此配置同步其他空间中。前提条件 创建命名空间 创建...
任务状态说明
任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 暂停同步 取消同步 已暂停 同步任务被暂停，处于暂停状态 查看同步配置 修改同步对象 重新启动任务 取消任务 已...
查询数据同步操作记录
新建配置：展示新增的同步配置详情。修改配置：展示修改的配置信息,修改的内容将标红凸显。删除配置：展示被删除的同步配置。新建同步：展示新增的同步任务详情，包括推送对象 ID、数据内容、数据唯一 ID、客户端应用版本区间、推送数据...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
MySQL数据源
整库离线、整库（实时）全增量、整库（实时）分库分表等整库级别同步配置指导 操作流程请参见 数据集成侧同步任务配置。常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步MySQL数据报错 ...
MySQL整库离线同步到OSS
步骤二：配置同步任务 周期全量配置方式 在 新建同步任务 页面，选择 同步步骤 为 全量同步。单击 下一步 按钮，选择MySQL中需要同步的表。您可根据在左侧 源端库表 区域，选中需要同步的源表，将其添加至右侧 已选库表 区域。配置 目标OSS...
通过DataWorks导入
您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述。操作步骤 新增MaxCompute数据源。具体操作，请参见 配置MaxCompute数据源。新增AnalyticDB MySQL...
通过DataWorks导入数据
您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述。操作步骤 新增OSS数据源。具体操作，请参见 配置OSS数据源。新增AnalyticDB MySQL数据源。具体操作...
下线配置
数据同步期间，如需暂停数据同步（例如数据出现问题，需要紧急停止同步），可以通过下线同步配置来实现。进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤将数据同步配置下线。操作步骤 在左侧导航栏点击 数据同步，进入数据...
项目模板同步配置
模板的同步开启/关闭 在创建模板后，服务同步配置如下：服务 同步配置 项目字段 默认开启同步，不可关闭。项目状态 默认开启同步，可关闭。自动化规则 默认开启同步，可关闭。通知 默认不开启同步，不可开启。角色权限 默认不开启同步，不...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
异地应用双活常见问题
最佳实践场景中，建议您配置推送的时候先推送一个单元，长时间灰度验证没问题后再进行另一个单元操作，因此不推荐自动同步配置。业务场景中以MySQL数据源为基准，会额外冗余到ES存储数据用于业务使用，ES数据是如何做同步？目前DTS支持...
配置同步任务（旧控制台）
数据传输服务DTS（Data Transmission Service）提供的数据同步功能简单易用，您只需在控制台上进行简单操作，即可完成整个数据同步任务的配置。首次使用数据同步功能时，请阅读 数据同步操作指导，帮助您快速掌握创建、监控、管理数据同步...
新增脚本同步任务
数据同步支持通过配置脚本来新建数据同步任务。本文主要介绍如何新增脚本同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，...
- 产品推荐
- 这些文档可能帮助您