数据校验计费方式
本文介绍DTS数据校验任务的计费方式和计费标准。计费方式 全量数据校验任务当前仅支持按量付费（后付费）的计费方式。说明 按表行数进行校验 的校验模式不收费，按抽样比例进行HASH校验 的校验...校验的数据量是指源库中待校验数据的大小。
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
什么是DataWorks
DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始，DataWorks与阿里巴巴业务共同发展，结合MaxCompute、Hologres等大数据计算引擎的能力，跨越多个技术阶段，支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
查看并管理治理工作台
您可以在治理工作台查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。本文为您介绍如何查看并管理治理工作台。权限说明 ...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
从Amazon Aurora MySQL迁移至PolarDB MySQL版
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
从Amazon Aurora MySQL迁移至阿里云
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
从Amazon RDS MySQL迁移至阿里云
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
从Amazon RDS MySQL迁移至阿里云
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
版本发布说明
发布日期：2023-11-22 大版本：V5.4.18 小版本：17004745 类别 说明 新增&优化 优化AUTO模式数据库中表数据量较大时创建表的效率。新增plan_cache视图返回默认库下的执行计划。优化AUTO模式数据库中并发建表的效率。缺陷修复 修复 alter ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
DTS的校验对象为数据内容，暂不支持Sequence等元数据的校验，您需要自行校验。由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在...
DataHub成本节省攻略
在DataHub发布的最新版本中，DataHub序列化相关的模块进行了一次重大升级，在性能、成本、资源使用方面都有较大的优化，同时DataHub技术升级所带来的成本红利会辐射到每个用户身上，根据我们实际的调研发现，大部分用户的使用成本都可以...
新功能发布记录
资产类目 全面优化表详情 优化 在新版表详情中展示了表的技术元数据（所属库实例、表名、字段等）、业务元数据（表业务描述、表标签等）及管理元数据（表Owner、数据权限等），并提供表的部分快捷操作。您可以在表详情中，全面地了解并高效...
从Amazon RDS for PostgreSQL全量迁移至阿里云
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据迁移。在 迁移任务列表 页面顶部，选择迁移的目标集群所属地域。单击页面右上角的 创建迁移任务。配置...
从Amazon Aurora PostgreSQL迁移至阿里云
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据迁移。在 迁移任务列表 页面顶部，选择迁移的目标集群所属地域。单击页面右上角的 创建迁移任务。配置...
Hadoop集群迁移至DataLake集群
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
从Amazon RDS for PostgreSQL增量迁移至阿里云
数据校验配置 若您需要使用数据校验功能，配置方法请参见 配置数据校验。高级配置 配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上，您无需选择。您可以购买指定规格的专属集群来运行DTS迁移任务，详情请参见 什么是DTS...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
ETL工作流快速体验
零售电商GMV分析 DataWorks MaxCompute 数据集成 数据开发 基于DataWorks提供的 智能数据建模 产品，使用该产品内置零售电子商务数仓模型，为您介绍DataWorks在数仓搭建过程中的技术栈及流程实现。案例相关文档：零售电商数据建模。视频...
创建数仓分层
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 数仓规划，默认进入 数仓分层 页面。创建分层。单击 新建分层，在 新建数仓...
Db2 for LUW同步至RDS MySQL
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
MySQL灾备恢复演练
数据库备份DBS 基于Copy Data Management（CDM）技术，能够快速将备份数据创建为数据库沙箱实例，进行校验并生成恢复演练报告。演练结束后，系统会自动删除该实例，实现了低成本和便捷的恢复演练能力。前提条件 支持开启恢复演练的地域...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
从Amazon RDS Oracle迁移至阿里云RDS MySQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
Db2 for LUW迁移至PolarDB MySQL版
其他限制 由于DTS基于 Db2 for LUW 的CDC复制技术，将 Db2 for LUW 数据库的增量更新数据迁移到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所支持数据类型的限制。执行数据迁移前需评估源库和目标库的性能，同时建议业务低...
Db2 for LUW迁移至RDS MySQL
其他限制 由于DTS基于 Db2 for LUW 的CDC复制技术，将 Db2 for LUW 数据库的增量更新数据迁移到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所支持数据类型的限制。执行数据迁移前需评估源库和目标库的性能，同时建议业务低...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
其他限制 由于DTS基于 Db2 for LUW 的CDC复制技术，将 Db2 for LUW 数据库的增量更新数据迁移到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所支持数据类型的限制。执行数据迁移前需评估源库和目标库的性能，同时建议业务低...
新功能发布记录
提升产品易用性，如恢复数据时支持规格校验，数据备份增加可恢复时间点，以及增加备份时长和恢复时长。开放 Open API，如备份集下载，开启备份，查询备份等。备份策略 实例回收站 立即备份 发起恢复 CreateBackupSetDownloadLink-创建备份...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
说明 如果您选择了 增量同步，且 DML 同步 选项中未选择所有的 DML，则数据传输不支持本场景下的全量数据校验。数据传输仅支持对唯一键表（指具有主键或者非空唯一键的表）进行全量数据校验。反向增量 反向增量任务开始后，可以实时将业务...
DLA Lakehouse实时入湖
在Lakehouse技术中，⾮常关键的技术就是多版本的⽂件管理协议，它提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务和多版本、小⽂件⾃动合并优化、元信息校验和⾃动进化、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。...
从沙箱实例迁移至RDS MySQL
背景信息 数据库备份DBS 基于Copy Data Management（CDM）技术可以实现快速恢复独立的DBS沙箱实例（即数据库实例），使备份数据快速可用。更多信息，请参见 DBS沙箱功能概览。当您恢复沙箱实例后，您可以通过 数据传输服务DTS 将沙箱实例...
功能更新动态（2023年）
校验数据源、数据表、密钥、质量监控对象等权限。校验来源表和目标表的重复性。新增Salesforce输入组件，可离线抽取Salesforce实例中的数据。整库迁移新增FTP作为来源库，通过上传并解析Excel文件（.xlsx格式）的指定格式，批量创建FTP文件...
- 产品推荐
- 这些文档可能帮助您