StopDISyncInstance
停止数据集成同步任务失败后的原因描述。如果停止数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=StopDISyncInstance&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回...
管理跨地域同步
本文介绍如何查看主实例同步的资源、更新要同步的资源，以及添加、解绑副本实例。查看主实例同步的资源 登录 密钥管理服务控制台，在顶部菜单栏选择主实例的地域后，在左侧导航栏单击 安全运营>灾备管理>跨地域同步。选择目标主实例，单击 ...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
TerminateDISyncInstance
下线数据集成实时同步任务失败后的原因描述。如果下线数据集成实时同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=TerminateDISyncInstance&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求...
通过DataWorks将PolarDB-X（DRDS）数据同步到阿里云ES
支持同步的数据源包括：阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云OSS 阿里云Tablestore 自建HDFS、Oracle、FTP、DB2及以上数据库类型的自建版本 适用场景...
自建Oracle同步至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle的数据同步至MaxCompute。前提条件 已开通MaxCompute并创建MaxCompute项目。更多信息，请参见 开通MaxCompute和DataWorks 和 创建MaxCompute项目。已设置...
StartDISyncInstance
启动数据集成同步任务失败后的原因描述。如果启动数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=StartDISyncInstance&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&StartParam={...
查询子实例间的同步延迟
在使用过程中，您可以随时查询子实例的同步状态、同步延迟和同步数量，掌握同步链路的实时情况。前提条件 Tair 全球多活实例中至少包含2个子实例。关于如何添加子实例，请参见 为分布式实例添加子实例。操作步骤 登录 Tair管理控制台。在...
查询子实例间的同步延迟
在使用过程中，您可以随时查询子实例的同步状态、同步延迟和同步数量，掌握同步链路的实时情况。前提条件 Redis 全球多活实例中至少包含2个子实例。关于如何添加子实例，请参见 为分布式实例添加子实例。操作步骤 登录 Redis管理控制台。在...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
监控任务性能
例如增量同步的同步流量、同步性能和同步延迟等信息。常见问题 一键诊断功能在哪里？一键诊断 功能已从 性能监控 页面移至 任务管理 页面。您可以在 任务管理 页面单击目标模块，然后在页面下方 一键诊断 区域的 健康度详情 页签，单击 一...
同步日志
在当前版本中，不同同步方式下，同步日志的记录情况如下：入方向 出方向 记录同步日志 从身份提供方同步 由 IDaaS 推送给应用 由 IDaaS 推送给身份提供方（暂不支持）不记录同步日志，但会记录为管理或用户日志 OpenAPI Developer API（暂...
同步时源库为MySQL的注意事项及限制
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
UpdateDISyncTask
更新数据集成同步任务失败后的原因描述。如果更新数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=UpdateDISyncTask&FileId=1000000&ProjectId=10000&RegionId=...
全球消息路由
全球消息路由功能可用于跨地域间的消息同步，通过路由规则将消息从源实例的Topic中同步到目标实例的Topic，并支持过滤规则，按照指定的Tag将消息过滤后再进行同步。在容灾备份或异地多活场景下，您可以创建全球消息路由任务，确保跨地域间...
主机管理
同步阿里云ECS 在 ECS同步 页面，单击 同步阿里云ECS，在弹窗中选择需要同步的ECS后即可导入。从本地文件导入 在主机列表，选择 更多操作>从文件导入。您可以直接上传由本系统导出的主机文件，或先下载模板文件，根据文件格式填写主机信息...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
使用NimoShake将Amazon DynamoDB迁移至阿里云
NimoShake（又名DynamoShake）是阿里云研发的数据同步工具，您可以借助该工具将Amazon DynamoDB数据库迁移至阿里云。前提条件 已经创建阿里云MongoDB实例，详情请参见 创建副本集实例 或 创建分片集群实例。背景信息 本文档主要介绍...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
低成本跨境文件传输
本文介绍如何通过OSS加速域名，配合函数计算和 Serverless 工作流，快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定程度的...
AnalyticDB for MySQL 3.0数据源
AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能，本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。使用限制 ADB湖仓版数据源不支持在公共资源组配置以及运行同步任务...
查看项目告警信息
本文为您介绍如何查看数据迁移项目、数据同步项目等待发送、已发送和需要重试等告警监控信息。背景信息 数据传输支持自动监控迁移项目失败、迁移项目延时、同步项目失败和同步项目延时等项目告警事件，并通过对接的告警通道发送项目告警...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
由于中国曾经实行夏令时的历史原因，导致 Oracle 数据库至 OceanBase 数据库 Oracle 租户的增量同步中，1986 年~1991 年的夏令时开始和结束的日期，以及 1988 年 4 月 10 日~4 月 17 日，TIMESTAMP(6)WITH TIME ZONE 类型，源端和目标端...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
PolarDB MySQL版同步至MaxCompute
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ADD COLUMN 操作步骤 ...
创建同步RDS/MySQL/ADS3.0
同步数据到RDS 准备工作 1.准备RDS实例和表结构 使用RDS管控台新建RDS实例，可选择经典网络和VPC网络，同样，创建DataHub同步任务时，请选择正确的网络类型。DataHub同步时，会根据DataHub Field的数据类型同步到对应的RDS数据类型中，对应...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
服务器管理
在云盾堡垒机的Web管理页面，您可以执行以下服务器相关的操作：添加、修改、移除等。添加服务器 您可以使用三种方式来添加服务器：同步阿里云ECS、手动添加、和批量添加。同步阿里云ECS 同步ECS云服务器指将您阿里云账号中的ECS实例列表...
DataWorks节点合集
类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步，并提供用于离线（批量）数据周期性同步的离线同步节点，与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发（DataStudio）界面直接创建。...
如何解决增量迁移延迟或同步延迟
本文介绍导致DTS增量迁移延迟或同步延迟过大的常见原因，以及相应的解决方法。您可以逐一排查这些原因，并根据解决方法恢复任务。问题描述 DTS在进行增量任务时，迁移任务或同步任务出现延迟超过1000毫秒的情况。可能原因 原因1：任务规格...
使用密码机实例集群
如果因临时测试等原因确实需要放行所有来源IP，不配置白名单即可。指定另外一个可用区的交换机 根据业务需要选择可用区的交换机。在密码机实例集群中，您必须要配置2个交换机才能成功创建并激活集群。初始化密码机实例，然后单击 下一步。...
- 产品推荐
- 这些文档可能帮助您