自助分析数据集
下方显示上次同步时间。单击 更新并保存，开始将人群表同步到Quick BI侧。此时关闭弹窗不会影响同步任务，同步完成后将提示已完成。新建自助分析数据集 说明 新建自助分析数据集前，需要管理员先进行 自助分析配置，选择自助分析的数据来源...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
添加云产品数据源
选择 最早同步时间。单击 完成。新建云产品数据源成功后：在 数据接入>云产品 页签下，对应添加云产品数据源同步任务，同步状态 默认为 已停止。您需手动开启云产品数据源同步，具体操作，请参见 开启云产品数据源同步。在 数据存储>冷数据...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）数据源为您提供读取和...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与DRDS（PolarDB-X）的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
产品架构
基于隧道技术和软件定义网络SDN（Software Defined Network）技术，阿里云在硬件网关和自研交换机设备的基础上推出了VPC产品。专有网络逻辑架构 如下图所示，VPC包含交换机、网关和控制器三个重要的组件。交换机和网关组成了数据通路的关键...
低成本跨境文件传输
对文件同步延时不敏感，能接受一定程度上网络抖动带来同步文件时的延迟。希望传输数据的系统有足够的弹性和扩展性应对大规模文件的写入。方案简介 云服务器模拟应用访问华东2（上海）和美国（硅谷）的对象存储，负责内容的制作和上传。内容...
常见问题
资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
PolarDB-X 1.0同步至阿里云消息队列Kafka
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
PolarDB-X 1.0间同步
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
通过DataWorks将Hadoop数据同步到阿里云ES
Hadoop集群、ES实例和DataWorks工作空间需要在同一时区下，否则同步与时间相关的数据时，同步前后的数据可能存在时区差。费用说明 ES实例费用，请参见 ES计费项。独享数据集成资源组费用，请参见 独享数据集成资源组计费说明：包年包月。...
PolarDB-X 1.0同步至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
PolarDB-X 1.0同步至PolarDB-X 2.0
如为增量数据同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量数据同步和增量数据同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因...
PolarDB-X 1.0同步至Elasticsearch
时区 DTS同步时间类型的数据（如DATETIME,TIMESTAMP）至目标 Elasticsearch 实例时，您可以选择所带时区。说明 如目标实例中此类时间类型数据无需带有时区，您需要预先在目标实例中设置该时间类型数据的文档类型（type）。DOCID取值 DOCID...
通过DataWorks将RDS SQL Server数据同步到阿里云ES
RDS SQL Server实例、ES实例和DataWorks工作空间需要在同一时区下，否则同步与时间相关的数据时，同步前后的数据可能存在时区差。费用说明 ES实例费用，请参见 ES计费项。独享数据集成资源组费用，请参见 独享数据集成资源组计费说明：包年...
同步时源库为PolarDB-X 1.0的注意事项及限制
如果同步的源实例为 PolarDB-X 1.0，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。重要 更多功能规范和约束说明，请参见 源为PolarDB-X的功能规范和约束说明。推荐的任务配置方案，请参见 源为...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB ...
说明 如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
通过DataWorks将HBase数据同步到阿里云ES
HBase实例、ES实例和DataWorks工作空间需要在同一时区下，否则同步与时间相关的数据时，同步前后的数据可能存在时区差。费用说明 ES实例费用，请参见 ES计费项。独享数据集成资源组费用，请参见 独享数据集成资源组计费说明：包年包月。...
通过DataWorks将阿里云ES数据同步到阿里云ES ...
独享资源部署在DataWorks托管的专有网络中，DataWorks需要与ES实例的专有网络连通才能同步数据。新增专有网络绑定时选择ES实例所在的 专有网络、可用区 和 交换机。更多信息，请参见 绑定专有网络。在已创建的独享资源组的 操作 列，单击 ...
购买流程
网络类型 数据同步任务使用的网络类型，固定为 专线。资源组 选择同步任务所属的资源组，相关介绍，请参见 什么是资源管理。购买量 订购时长 在预付费模式下，选择包年包月任务的时长和数量，包月可选择1~9个月，包年可选择1年、2年、3年和...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
通过DataWorks将MySQL数据同步到阿里云ES
RDS MySQL实例、ES实例和DataWorks工作空间需要在同一时区下，否则同步与时间相关的数据时，同步前后的数据可能存在时区差。费用说明 ES实例费用，请参见 ES计费项。独享数据集成资源组费用，请参见 独享数据集成资源组计费说明：包年包月...
PolarDB-X 1.0同步至DataHub
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
通过DataWorks将MaxCompute数据同步到阿里云ES
ES实例、MaxCompute和DataWorks工作空间需要创建在同一时区下，否则同步与时间相关的数据时，同步前后的数据可能存在时区差。费用说明 ES实例费用，请参见 ES计费项。独享数据集成资源组费用，请参见 独享数据集成资源组计费说明：包年包月...
PolarDB-X 1.0同步至RDS MySQL
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
Kafka实时ETL同步至Hologres
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。本文为您介绍如何创建Kafka实时ETL同步至Hologres任务。使用...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
通过DataWorks将PolarDB-X（DRDS）数据同步到阿里云ES
PolarDB-X实例、ES实例和DataWorks工作空间需要在同一时区下，否则同步与时间相关的数据时，同步前后的数据可能存在时区差。费用说明 ES实例费用，请参见 ES计费项。独享数据集成资源组费用，请参见 独享数据集成资源组计费说明：包年包月...
添加数据源
阿里云 云备份 提供非结构化文件系统类数据同步功能，可以将源端数据源（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储 等）同步至目的端数据源（包括阿里云上）。首次数据同步前，您需要添加源端数据源和目的端数据源。...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
同步时源库为MongoDB的注意事项及限制
源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：MongoDB（副本集架构）同步至MongoDB（副本集架构、分片集群架构）MongoDB（分片集群架构）间双向同步 MongoDB（分片集群架构）间单向同步 MongoDB（副本集...
PolarDB-X间的数据实时同步
如果需要在数据同步期间切换 PolarDB-X 的网络类型，在您执行完网络类型切换操作后，请调整同步链路的网络连接信息。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持...
Oracle同步至Tablestore
本文以Oracle同步至表格存储Tablestore场景为例，为您介绍如何通过数据集成将Oracle的某张表数据实时同步到Tablestore。使用限制 本实践仅支持使用 独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Oracle作为...
使用DataWorks
通过向导模式配置并运行数据同步任务 配置网络与资源。选择数据来源。在 数据来源 下拉列表中选择数据源类型为 MaxCompute(ODPS)，并选择创建好的MaxCompute 数据源名称。选择独享数据集成资源组。选择已创建的独享数据集成资源组，详情请...
从PolarDB-X同步至AnalyticDB for PostgreSQL
如果需要在数据同步期间切换 PolarDB-X 的网络类型，在您执行完网络类型切换操作后，请调整同步链路的网络连接信息。在成功启动数据同步作业后，如果在源库中新增了一个表并需要将其作为同步对象，您需要为数据同步作业 新增同步对象。费用...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑地迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑的迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
- 产品推荐
- 这些文档可能帮助您