将表格存储时序表中数据同步到另一个时序表
全量数据的同步需要使用到Tablestore（OTS）Reader与Tablestore Writer插件。脚本配置规则请参见 Tablestore数据源。在 配置任务 步骤，根据配置示例编辑脚本。配置示例如下：重要 为了便于理解，在配置示例中增加了注释内容，实际使用脚本...
数据传输作业：数据集成
为了解决上述问题，DataWorks提出了面向业务场景的同步任务配置化方案，支持同步至MaxCompute的一键同步功能：一键实时同步至MaxCompute、整库离线同步至MaxCompute。注意事项 在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面...
实时同步任务延迟解决方案
确认造成延迟问题在同步任务的读端还是写端 如果是在DataStudio创建的实时同步任务，您需要在 运维中心>实时任务运维>实时同步任务 界面单击运行中的任务名称，弹出任务运行详情对话框。详情请参见 实时同步任务运行与管理。在任务运行详情...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
离线同步并发和限流之间的关系
问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很慢，为什么我的独享资源组经常等待资源？并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当...
从自建Oracle同步至DataHub
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。如果源库通过专线的方式接入，那么需要将其中任意1个VIP配置到连接信息中，实现Oracle RAC通过专线接入同步任务。如自建...
将MaxCompute数据同步到表格存储
步骤四：配置离线同步任务并启动 新建并配置MaxCompute到表格存储的同步任务，具体步骤如下：在 数据集成 节点下，双击打开新建的离线同步任务节点。配置同步网络链接。选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组...
如何主动触发特定文件夹的反向同步
本文介绍如何通过云存储网关主动触发特定文件夹的反向同步。前提条件 已创建共享。具体操作，请参见 创建共享。操作步骤 您可以通过调用TriggerGatewayRemoteSyncRequest接口来实现主动触发特定文件夹的反向同步。说明 云存储网关Python ...
镜像同步加速
背景信息 跨境同步加速和自定义同步链路功能区别如下：跨境同步加速：基于调度策略与网络链路优化，提升中国内地与海外地域、中国内地与中国香港之间的同步速度。自定义同步链路：使用自定义的云企业网，为不同地域搭建私网通信通道，实现...
修改数据同步的附加列规则
DTS在将数据同步到DataHub或MaxCompute时，会在同步的目标表添加一些附加列，用于元数据管理、排序去重等。如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败，为避免出现此类问题，您可以修改同步附加列的命名规则。背景信息...
使用DataWorks同步iGraph数据
通常的同步方案是先做一次全量一次性同步，将已有的数据同步至iGraph。之后选择一个固定的时间间隔，周期将新增的数据同步至iGraph中，确保数据最终一致。2.创建数据离线同步节点 登录 DataWorks控制台，在左侧导航栏，单击 工作空间列表。...
【邀测】同步备份
已配置同步备份功能，可查看管理您的同步备份状态、创建双向同步及检查更新版本。使用同步备份 创建双向同步：单击 同步备份>创建双向同步，建立同步映射关系，云端和本地的文件会自动同步更新。高级设置：支持同步过滤，排除指定文件类型...
从Kafka同步数据
当您需要将消息队列Kafka的数据实时同步至云数据库ClickHouse中时，本文档为您提供了详细的解决方案，以满足您的数据实时处理需求。说明 云数据库ClickHouse 集群从Kafka进行数据同步目前仅支持云消息队列Kafka和部署在ECS上的自建Kafka。...
概述
Tablestore中的增量数据及全量数据可以通过DataWorks的数据集成同步到MaxCompute中。背景信息 表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
同步调用
同步调用是调用函数的一种方式，当您同步调用一个函数时，事件将直接触发函数，函数计算 会运行该函数并等待响应。当函数调用完成后，函数计算 会将执行结果直接返回给您，例如返回结果、执行摘要和日志输出。本文介绍同步调用的使用场景和...
同步调用
同步调用是调用函数的一种方式，当您同步调用一个函数时，事件将直接触发函数，函数计算 会运行该函数并等待响应。当函数调用完成后，函数计算 会将执行结果直接返回给您，例如返回结果、执行摘要和日志输出。本文介绍同步调用的使用场景和...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
迁移工具
DataWorks/DataX将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件。更多信息，请分别参见 DataWorks数据集成 或者 DataX。将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将...
企业微信配置
本文介绍如何进行企业微信配置，配置完成后，阿里云盘企业版 可同步企业微信内的团队结构及用户，用户可使用企业微信方式直接登录 阿里云盘企业版，实现便捷管理网盘内的用户和团队。重要 当前新用户暂不支持对接企业微信，老用户不受影响...
LDAP配置
本文介绍如何进行LDAP（Lightweight Directory Access Protocol 轻量级目录访问协议）配置，配置完成后，阿里云盘企业版 可同步LDAP内的组织结构及用户，用户可使用LDAP账号直接登录 阿里云盘企业版，实现便捷管理网盘内的用户和团队。...
文件网关反向同步的使用场景及配置
文件网关支持反向同步功能，将OSS上的元数据同步回本地，您可以在云存储网关侧观察OSS上数据的变化。使用场景 当多台云存储网关实例共同访问一个OSS Bucket时，可以实现多实例数据共享。当您需要从OSS恢复数据到云存储网关时，反向同步功能...
DTS同步数据到AnalyticDB MySQL时出现“modify ...
对于修改字段类型的报错提示，可以通过以下两种方式解决问题：如果同步任务是整个数据库的同步操作，可以在AnalyticDB MySQL中新建一张表，表名不同于报错的表，表结构和源表的表结构保持一致，通过使用 Insert Into Select SQL语句将报错...
配置同步任务
Dataphin支持的同步来源数据源类型包括MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL、MongoDB、Microsoft SQL Server。模式 当数据源类型为MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL时，支持设置。支持选择同步数据...
支持的数据库
双向同步 PolarDB PostgreSQL版间的同步 云原生数据仓库 AnalyticDB PostgreSQL 版 4.3、6.0、7.0版本 库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB PostgreSQL版同步至AnalyticDB PostgreSQL 源为PolarDB-X的同步方案 重要 ...
ALIYUN:DTS:SynchronizationJob
取值：oneway（默认值）bidirectional 只有MySQL之间的同步时，此参数才能取值bidirectional。SourceEndpoint语法"SourceEndpoint":{"UserName":String,"InstanceId":String,"IP":String,"Port":String,"Role":String,"OwnerID":String,...
常见问题
因为含增量任务的同步实例暂停期间，仅目标端的数据写入暂停，源端增量变化的数据依然会进行采集。为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向...
同步方案概览
源为自建MySQL或RDS MySQL的同步方案 源为PolarDB MySQL版的同步方案 源为PolarDB PostgreSQL版（兼容Oracle）的同步方案 源为PolarDB PostgreSQL版的同步方案 源为PolarDB-X的同步方案 源为Oracle的同步方案 源为自建PostgreSQL或RDS ...
使用MongoShake实现MongoDB实例间的延迟同步
因此，MongoShake在2.4.6版本的更新中提供了设置延迟同步的参数，给主从实例之间的同步设置一段缓冲的时间，当主实例中执行了误操作后，可以在这段时间内关闭同步，并直接将业务切换到还未发生误操作的从实例。说明 本文档着重介绍延迟同步...
OSS数据离线同步至MaxCompute
数据集成资源组配置 单击右侧 数据集成资源组配置 按钮设置同步任务运行的同步资源组。选择在创建数据源时，与OSS数据源、MaxCompute数据源都完成连通性检查的数据集成资源组。试运行与提交执行任务 试运行 单击顶部的 运行 或 带参运行，...
OSS数据离线同步至MaxCompute
数据集成资源组配置 单击右侧 数据集成资源组配置 按钮设置同步任务运行的同步资源组。选择在创建数据源时，与OSS数据源、MaxCompute数据源都完成连通性检查的数据集成资源组。试运行与提交执行任务 试运行 单击顶部的 运行 或 带参运行，...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
跨账号同步ECS主机名
什么是同步ECS主机名 同步ECS主机名，是指通过内网DNS解析自动获取ECS服务器实例信息中的主机名配置，然后根据ECS主机名在内网DNS中一键生成相应的内网解析记录（即主机名记录）。什么是跨账号同步ECS主机名 跨账号同步ECS主机名是指，例如...
配置同步任务
Dataphin支持的同步来源数据源类型包括MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL、MongoDB、Microsoft SQL Server。模式 当数据源类型为MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL时，支持设置。支持选择同步数据...
实时同步能力说明
您可以根据数据库所在网络环境，选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源...
使用MongoShake实现MongoDB实例间的单向同步
准备工作 为达到最理想的同步性能，请确保源端MongoDB副本集实例的网络类型为专有网络VPC，如果是经典网络，请切换成专有网络VPC。更多信息，请参见 经典网络切换为专有网络。创建作为同步目标端的MongoDB副本集实例，在创建的时候请选择与...
同步时源库为Db2 for LUW的注意事项及限制
如果同步的源库为 Db2 for LUW，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等...
- 产品推荐
- 这些文档可能帮助您