常见问题
本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理？在本地数据中心部署网关时，如何设置路由？在本地文件网关控制台中创建共享失败时如何处理？如何在阿里云裸金属环境部署线下...
操作指南FAQ
本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理？在本地数据中心部署网关时，如何设置路由？在本地文件网关控制台中创建共享失败时如何处理？如何在阿里云裸金属环境部署线下...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
通过DataWorks将RDS SQL Server数据同步到阿里云ES
独享资源需要与RDS SQL Server实例和Elasticsearch实例的专有网络连通才能同步数据，因此需要分别绑定RDS SQL Server实例和Elasticsearch实例所在的 专有网络、可用区 和 交换机。查看实例所在专有网络信息，请参见 切换RDS SQL Server虚拟...
通过DataWorks将HBase数据同步到阿里云ES
独享资源需要与HBase实例和Elasticsearch实例的专有网络连通才能同步数据，因此需要分别绑定HBase实例和Elasticsearch实例所在的 专有网络、可用区 和 交换机。查看ES实例所在专有网络信息，请参见 查看Elasticsearch实例的基本信息。重要 ...
通过DataWorks将MySQL数据同步到阿里云ES
独享资源需要与RDS MySQL实例和ES实例的专有网络连通才能同步数据，因此需要分别绑定RDS MySQL实例和ES实例所在的 专有网络、可用区 和 交换机。查看实例所在专有网络信息，请参见 切换RDS MySQL专有网络VPC和虚拟交换机 和 查看...
通过DataWorks将MaxCompute数据同步到阿里云ES
独享资源需要与Elasticsearch实例的专有网络连通才能同步数据。因此需要绑定Elasticsearch实例所在的 专有网络、可用区 和 交换机。查看Elasticsearch实例所在的专有网络、可用区和交换机，请参见 查看Elasticsearch实例的基本信息。重要 ...
通过DataWorks将PolarDB-X（DRDS）数据同步到阿里云ES
独享资源需要与PolarDB-X实例和Elasticsearch实例的专有网络连通才能同步数据，因此需要分别绑定PolarDB-X实例和Elasticsearch实例所在的 专有网络、可用区 和 交换机。查看实例所在专有网络信息，请参见 查看Elasticsearch实例的基本信息...
API概览
网络端点 API 标题 API概述 CreateNetworkAccessEndpoint 创建一个网络端点 创建一个专属网络端点。DeleteNetworkAccessEndpoint 删除一个专属网络端点 删除一个专属类型的网络端点。UpdateNetworkAccessEndpointName 更新网络端点名称 ...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
创建同步ADS
即数据写入DataHub中后若干秒内将会同步到ADS，网络异常的情况可能造成重复数据Update，但是保证数据At least once语义。4）ADS的写入性能直接影响同步的性能，若ADS实例性能过低，可能导致DataHub同步较慢，数据堆积，严重情况可能因为...
镜像同步加速
背景信息 跨境同步加速和自定义同步链路功能区别如下：跨境同步加速：基于调度策略与网络链路优化，提升中国内地与海外地域、中国内地与中国香港之间的同步速度。自定义同步链路：使用自定义的云企业网，为不同地域搭建私网通信通道，实现...
增量同步性能白皮书
单机同步单分区 单机同步4个分区 单机同步8个分区 单机同步32分区 单机同步64分区 2台机器同步64分区 2台机器同步128分区 说明 上述测试场景不是产品能力的极限测试，对表格存储服务端的整体压力较小。测试步骤 创建数据表并进行预分区...
ClickHouse整库数据离线同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
监控任务性能
功能 说明 全量同步链路拓扑 全量同步链路主要展示源库到DTS、DTS到目标库两部分的读写情况和网络信息，相关参数解释如下：源库到DTS的链路 BPS：DTS每秒从源库读取数据量，单位为MB/s。RPS：DTS每秒从源库读取的行数。网络延迟：DTS与源库...
创建同步RDS/MySQL/ADS3.0
准备RDS实例和表结构 使用RDS管控台新建RDS实例，可选择经典网络和VPC网络，同样，创建DataHub同步任务时，请选择正确的网络类型。DataHub同步时，会根据DataHub Field的数据类型同步到对应的RDS数据类型中，对应的类型映射关系如下所示：...
AnalyticDB MySQL集群状态和DTS同步作业状态
AnalyticDB MySQL集群状态 状态 说明 Preparing 准备中 Creating 创建中 Restoring 备份恢复中 Running 运行中 Deleting 删除中 ClassChanging 变配中 NetAddressCreating 创建网络链接中 NetAddressDeleting 删除网络链接中 DTS同步作业...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
PolarDB MySQL版同步至MaxCompute
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ADD COLUMN 操作步骤 ...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
同步时源库为PolarDB-X 2.0的注意事项及限制
如果同步的源实例为 PolarDB分布式版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标...
功能特性
EIAM 云身份服务 功能集 功能 功能描述 参考文档 钉钉入方向 非敏感数据同步 同步除了手机号、邮箱等敏感字段之外的全部通讯录数据，可扫码配置 钉钉入方向同步 敏感数据同步 同步全部通讯录数据，需创建钉钉企业内部应用 钉钉入方向同步 ...
低成本跨境文件传输
对文件同步延时不敏感，能接受一定程度的网络抖动带来的文件同步延迟。希望传输数据的系统有足够的弹性和扩展性应对大规模文件的写入。方案简介 方案架构如下：方案流程如下：ECS模拟应用访问上海和硅谷的OSS，负责内容的制作和上传。内容...
低成本跨境文件传输
对文件同步延时不敏感，能接受一定程度的网络抖动带来的文件同步延迟。希望传输数据的系统有足够的弹性和扩展性应对大规模文件的写入。方案简介 方案架构如下：方案流程如下：ECS模拟应用访问上海和硅谷的OSS，负责内容的制作和上传。内容...
自建Oracle同步至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle的数据同步至MaxCompute。前提条件 已开通MaxCompute并创建MaxCompute项目。更多信息，请参见 开通MaxCompute和DataWorks 和 创建MaxCompute项目。已设置...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
离线同步能力说明
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源组与网络连通。数据同步场景 离线同步支持单表同步至目标端单表、分库分表同步至目标端单...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
PolarDB-X 2.0同步至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至MaxCompute。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。更多信息，请参见 创建实例 和 创建数据库。已开通MaxCompute。更多...
同步时源库为MySQL的注意事项及限制
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
BigQuery数据源
配置BigQuery的网络连接 在DataWorks上进行数据同步前，您需要将BigQuery的网络与数据集成的独享资源组打通，使之通过内网地址进行访问。网络打通的具体方法可参考：配置资源组与网络连通。数据同步任务开发 BigQuery数据同步任务的配置...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
说明 为保障正常通信和减少网络延迟对增量数据同步的影响，部署阿里云消息队列Kafka实例时，需配置和源库服务器相同的专有网络。在自建Kafka集群或阿里云消息队列Kafka实例中创建Topic。将DTS服务器的IP地址段加入至TiDB数据库的白名单安全...
使用MongoShake实现MongoDB实例间的延迟同步
准备工作 为达到最理想的同步性能，请确保源端MongoDB副本集实例的网络类型为专有网络VPC，如果是经典网络，请切换成专有网络VPC。更多信息，请参见 经典网络切换为专有网络。创建作为同步目标端的MongoDB副本集实例，在创建的时候请选择与...
Amazon Redshift数据源
TYPE_TIMESTAMP java.sql.Timestamp TIMESTAMPTZ SQL_TYPE_TIMESTAMP java.sql.Timestamp VARCHAR SQL_VARCHAR 字符串 数据同步前准备：配置Amazon Redshift的网络连接 在DataWorks上进行数据同步前，您需要将Amazon Redshift的网络与数据...
使用MongoShake实现MongoDB实例间的单向同步
准备工作 为达到最理想的同步性能，请确保源端MongoDB副本集实例的网络类型为专有网络VPC，如果是经典网络，请切换成专有网络VPC。更多信息，请参见 经典网络切换为专有网络。创建作为同步目标端的MongoDB副本集实例，在创建的时候请选择与...
API概览
实例同步管理 API 标题 API概述 CreateRepoSyncTaskByRule 创建镜像仓库同步任务 根据同步规则（限手动同步规则）创建镜像仓库同步任务。CreateRepoSyncRule 创建镜像仓库同步规则 创建镜像仓库同步规则。CreateRepoSyncTask 手动创建仓库...
DataX同步数据
操作流程 功能 描述 步骤一：连通RDS MySQL实例与Dataphin间的网络 在您开始同步数据前，首先需要连通RDS MySQL实例和Dataphin间的网络。步骤二：创建数据同步的源表和目标表 登录至RDS MySQL实例，创建本教程中用于数据同步的源表和目标表...
- 产品推荐
- 这些文档可能帮助您