什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
数据校验计费方式
本文介绍DTS数据校验任务的计费方式和计费标准。计费方式 全量数据校验任务当前仅支持按量付费（后付费）的计费方式。说明 按表行数进行校验 的校验模式不收费，按抽样比例进行HASH校验 的校验...校验的数据量是指源库中待校验数据的大小。
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
查看并管理治理工作台
校验中 支持 查看详情、发起整改、加入白名单、通知责任人、关联知识库文档。已处理 支持 查看详情、关联知识库文档。已忽略 支持 查看详情、取消忽略、重新校验、关联知识库文档。操作项 描述 查看详情 支持查看治理对象的规则校验详情、...
查看并管理治理工作台
校验中 支持 查看详情、发起整改、加入白名单、通知责任人、关联知识库文档。已处理 支持 查看详情、关联知识库文档。已忽略 支持 查看详情、取消忽略、重新校验、关联知识库文档。操作项 描述 查看详情 支持查看治理对象的规则校验详情、...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
Hadoop集群迁移至DataLake集群
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
DTS的校验对象为数据内容，暂不支持Sequence等元数据的校验，您需要自行校验。由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在...
版本发布说明
发布日期：2023-07-28 大版本：V5.4.16 小版本：16901668 类别 说明 新增&优化 新增支持创建用户时的密码中包含双引号。缺陷修复 修复通过 show stats 查询时活跃连接数为负数的问题。修复广播表执行包含rand()函数的DML语句时数据不一致的...
PolarDB PostgreSQL版间的迁移
增量校验：只校验数据传输中增量部分的数据。选择调度该任务的专属集群 DTS专属集群是在某一地域由多台相同规格的ECS虚拟机组成的集群，用于管理和配置DTS迁移、同步和订阅任务。相比DTS共享集群，DTS专属集群具有资源独享、稳定性更好、...
产品优势
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
Dataphin支持的数据源
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
VPC双向访问
大部分使用场景下，尤其是云数据库产品，上述网络情况已经能够满足需求。因InfluxDB®️丰富的开源生态，出现了需要由InfluxDB®️实例作为发起方，主动推送数据的场景。其中典型使用场景为Kapacitor数据订阅服务。说明 双向VPC访问功能...
购买流程
重要 目前单独购买数据校验任务的功能正在灰度内测中，仅部分用户可以使用。DTS仅支持通过 数据传输服务DTS（后付费）的方式购买数据校验任务。类别 参数 说明 基本配置 商品类型 选择 数据传输服务DTS（后付费）。功能 选择 数据校验。源...
创建实时元表规则
元表规则说明 规则类型 描述 统计趋势监测 统计趋势监测校验数据值及数据变化趋势。实时多链路对比 在业务有强保障场景中，可以通过实时双链路或实时三链路质量规则，监测数据。如果有异常，运维人员能够及时切换或备份数据。实时多链路...
创建实时元表规则
元表规则说明 规则类型 描述 统计趋势监测 统计趋势监测校验数据值及数据变化趋势。实时多链路对比 在业务有强保障场景中，可以通过实时双链路或实时三链路质量规则，监测数据。如果有异常，运维人员能够及时切换或备份数据。实时多链路...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
配置数据同步任务
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文以 RDS MySQL 同步至 RDS MySQL 为例为您介绍在DTS专属集群中配置数据同步任务...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
云数据库MongoDB版（副本集架构）间的双向同步
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS同步任务。更多信息，请参见 什么...
云数据库MongoDB版（副本集架构）间的双向同步
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS同步任务。更多信息，请参见 什么...
PolarDB MySQL版同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
RDS MySQL实例间的同步
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS同步任务，详情请参见 什么是DTS...
MySQL实例间的双向同步
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
MySQL实例间的双向同步
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
RDS MySQL与PolarDB MySQL版间的双向同步
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
RDS MySQL迁移至云原生数据仓库 AnalyticDB ...
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以 RDS MySQL 实例为源数据库介绍配置...
配置数据迁移任务
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...
RDS MySQL同步至AnalyticDB MySQL 3.0
数据校验配置 若您需要配置数据校验，请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS同步任务，详情请参见 什么是DTS专属集群。...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS同步任务。更多信息，...
- 产品推荐
- 这些文档可能帮助您