数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
通过DTS导入数据
DTS支持迁移全量数据及增量数据，您可以通过DTS迁移...数据类型映射关系 类别 MySQL的数据类型 SelectDB的数据类型 Numeric TINYINT TINYINT TINYINT UNSIGNED SMALLINT SMALLINT SMALLINT SMALLINT UNSIGNED INT MEDIUMINT INT MEDIUMINT ...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
新功能发布记录
OceanBase 数据库的数据至 RocketMQ 支持 OceanBase 数据库至 Kafka 的同步 DDL 功能，方便用户及时感知 Schema 变化 同步 OceanBase 数据库的数据至 Kafka 目标端 Kafka/DataHub/RocketMQ 支持 Debezium JSON 格式，方便对接下游大数据...
场景：配置增量数据离线同步任务
离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...
数据服务入门
数据服务与API网关为您提供安全、稳定、低成本、易上手的数据开放共享服务。更多数据服务的介绍，详情请参见 数据服务概述。进入数据服务 登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框中选择对应工作空间后单击 进入数据...
数据质量：全流程的质量监控
数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。说明 ETL是抽取、转换和加载源端数据至目的端的过程。数据质量以数据集（DataSet）为监控...
应用场景
支持多种数据库：支持主流的关系型数据库、NoSQL、NewSQL。支持多环境的数据库：支持阿里云云数据库、本地IDC自建数据库，ECS自建数据库、其他云厂商的数据库。典型使用场景——批量管理 DAS提供企业级数据库管理服务，贴近业务管理视角，...
数据脱敏能力概述
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？...因为被分享的数据源是一个新数据源，与源数据源关联的任务无任何关系。
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
数据类型映射关系 详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步任务。说明 购买时，选择源实例为 PolarDB、目标实例为 AnalyticDB MySQL，并选择同步拓扑为 单向同步。登录 数据传输控制台。说明 若数据传输控制台...
公告
数据安全新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以命中脱敏算法，提升数据安全性；识别结果管理功能优化，修改分类分级可基于识别记录自动推荐。新增码表目录、公共日历、离线代码模板...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
数据类型映射关系 由于MySQL和 云原生数据仓库AnalyticDB MySQL 的数据类型并不是一一对应的，所以DTS在进行结构初始化时，会根据数据类型定义进行类型映射，详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步作业，...
创建数据脱敏场景
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
数据类型映射关系 详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步任务。说明 购买时，选择源实例为 PolarDB、目标实例为 AnalyticDB MySQL，并选择同步拓扑为 单向同步。登录 数据传输控制台。说明 若数据传输控制台...
从RDS同步到云原生数据仓库AnalyticDB MySQL
数据类型映射关系 由于MySQL和 云原生数据仓库AnalyticDB MySQL 的数据类型并不是一一对应的，所以DTS在进行结构初始化时，会根据数据类型定义进行类型映射，详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步作业，...
常见问题
支持，关系数据库之间的数据同步支持的DML操作为INSERT、UPDATE、DELETE，支持的DDL操作为CREATE、DROP、ALTER、RENAME、TRUNCATE。说明 不同场景下支持的DML或DDL操作有所区别，请在 同步方案概览 中选择符合业务场景的链路，在具体链路...
技术架构
闭环的生态工具：数据管理DMS，基于阿里巴巴集团十余年的数据库服务平台的云版本，提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的Web数据库管理终端，可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库...
自建Oracle迁移至PolarDB MySQL版
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量数据迁移 DTS会将自建Oracle数据库迁移对象的存量数据，...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
数据类型映射关系 详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 PolarDB-X（原DRDS升级版）、目标实例为 AnalyticDB MySQL，并选择同步拓扑为 单向同步。...
PolarDB MySQL版间的单向同步
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB MySQL版 集群间的单向数据同步。...
自建Oracle迁移至RDS MySQL
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量数据迁移 DTS会将自建Oracle数据库迁移对象的存量数据，...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
警告 由于此场景属于异构数据库间的数据同步，数据类型无法一一对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 结构初始化涉及的数据类型映射关系。选择同步对象时支持的粒度为表（不支持AO表），支持修改列的映射关系。若...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
警告 由于此场景属于异构数据库间的数据同步，数据类型无法一一对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 结构初始化涉及的数据类型映射关系。选择同步对象时支持的粒度为表（不支持AO表），支持修改列的映射关系。若...
从RDS MySQL同步至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL同步至 PolarDB MySQL版。前提条件 已...
从MaxCompute迁移至RDS MySQL
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量数据迁移 DTS将待迁移对象的存量数据全部迁移到目标库中...
Teradata迁移至云原生数据仓库 AnalyticDB PostgreSQL...
若使用列映射时为非全表迁移或者源与目标表结构不一致，则目标端比源端缺少的列的数据将会丢失。本场景支持库表结构迁移和全量迁移，暂不支持增量迁移。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量...
RDS MySQL迁移至Elasticsearch
所以DTS在进行结构初始化时，会根据目标库支持的数据类型进行类型映射，详情请参见 异构数据库间的数据类型映射关系。Elasticsearch与关系型数据库的映射关系如下表所示：Elasticsearch 关系型数据库 索引（index）数据库（Database）文档...
系统配置
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若...
功能发布记录（2022年）
2022.11.16 所有地域 所有DataWorks用户 业务视角管理：数据专辑 DataWorks数据分析新版升级，全新的SQL查询体验 DataWorks数据分析，新增功能如下：支持用户统一管理个人名下的所有SQL文件及辅助取数工作常用的数据表集合。支持有权限的...
自建Oracle迁移至PolarDB-X
说明 由于Oracle和 PolarDB-X 的数据类型并不是一一对应的，您需要在 PolarDB-X 中定义对应的数据类型，详情请参见 异构数据库间的数据类型映射关系。建议在执行数据迁移前了解源库为Oracle时DTS支持的能力和限制条件，并使用ADAM...
RDS MySQL同步至AnalyticDB for PostgreSQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
基本概念
在现实场景中，常说的「地理围栏判断」是指一个面状要素表示的地理围栏与目标对象（点、线、面）之间的关系。如果目标对象在地理围栏之内，则称之为包含；在面状要素之外，则称之为相离。OGC OGC全称是开放地理空间信息联盟（Open ...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。不兼容触发器。建议您删除源库的触发器，以避免因触发器而...
PolarDB MySQL同步至AnalyticDB for PostgreSQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
功能更新动态（2023年）
新建和管理落标映射规则 已映射关系管理 无效映射关系管理 查看落标评估明细 资产质量 支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，并支持按照个人的权限控制个人所能查看的数据范围，使平台使用更加...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB 版 实例，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何为Quick BI添加 云数据库 SelectDB 版 数据源。前提条件 已为 云数据库 SelectDB 版 实例 申请公网地址。具体操作，请...
DLA Lakehouse实时入湖
Workload（⼯作负载）是围绕湖仓⼀体化而展开的核心工作的编排调度（由DLA Lakehouse统⼀调度），包括如下功能特点：入湖建仓 为了将其他源头的数据，汇总到整个湖仓内构建⼀个统⼀的数据平台，例如有DB类型的⼊湖建仓，也有Kafka的入湖建...
手动修正数据
列表默认为您展示 项目空间、表名称、字段名称、敏感字段类型，同时，您还可以单击 操作 列的 血缘关系 进入 数据血缘 模块查看字段级别的数据血缘关系。对于 敏感字段类型 识别结果有误的字段，单击右侧 敏感字段类型 列的下拉框，列表...
文档更新动态（2023年）
支持在数据标准配置质量监控：支持在已映射关系列表，针对映射关系中的资产对象批量添加其相关的数据标准已配置的质量监控并添加调度方式；此类规则将影响落标评估明细中的落标评估率，以补全数据标准监控链路。标准侧配置的质量监控在质量...
- 产品推荐
- 这些文档可能帮助您