常见问题
源或目标实例位于DTS暂不支持的地区，如何进行数据迁移和同步？如果是数据迁移任务，您可以为数据库实例（如RDS MySQL）申请公网地址，以 公网IP 接入，实例地区可以选择DTS支持的地区，并将对应地区的DTS服务器IP地址段添加到实例的白名单...
典型场景
云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行处理，这些操作任务也可以被DataWorks调度。同时它还支持高性能的在线分析能力，可以通过Quick BI、DataV、Tableau、帆软等即时查询数据，并将数据以报表形式展现。大数据分析平台 ...
图文解释
数据预处理 无需配置，不生效。接入方式 无需配置，不生效。卡片样式配置 无需配置，不生效。标注区（caption）（必选）标注区（caption）用于配置需要标注解析的文字字段。单击选中 标注区（caption）后，在右侧 配置 区域配置具体参数。...
快速入门
您可以通过PyODPS提供的DataFrame API使用Pandas的数据结果处理功能。本文以DataWorks平台为例，帮助您快速开始使用PyODPS，并且能够用于实际项目。前提条件 已开通MaxCompute服务，详情请参见 开通MaxCompute。已开通DataWorks服务，并...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
如果预检查显示 失败，可以根据提示 DTS预检查 信息进行排错处理。预检查全部成功后，单击 关闭。步骤三：查看同步数据 返回DTS控制台，在同步列表中的同步概况中查看同步延时和速度。进入 AnalyticDB MySQL版控制台，在 ads_DataBase 数据...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
从RDS MySQL同步至Tablestore
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）同步至Tablestore...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
从RDS同步至MaxCompute
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步作业不会被启动。说明 如果目标库中同名的表...
从自建Oracle迁移至阿里云消息队列Kafka
通过数据传输服务DTS（Data Transmission Service），您可以将自建Oracle迁移至阿里云消息队列Kafka版或自建Kafka，从而扩展消息处理能力。本文以自建Oracle数据库迁移至阿里云消息队列Kafka实例为例，介绍数据迁移任务的配置流程。前提...
数据库可用性检查失败
如没有创建，请创建满足RDS规范的字符集的数据库，将读写权限赋予迁移账号，然后将要迁移的数据库映射到您创建的数据库，重新进行预检查。说明 针对RDS MySQL Version5.6非高安全账号以及RDS SQL Server 2008r2，DTS会自动调用API来创建...
从ECS上的自建MySQL同步至PolarDB MySQL版（金融云）
配置项目 配置说明 目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步作业不会被启动。说明 ...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
创建反向实例
反向实例创建成功后会立即进行预检查，预检查通过后会进行增量数据采集，增量数据写入模块不会运行。每个同步实例仅支持创建一个对应的反向实例，且当反向实例启动后，原实例将无法直接启动。不支持为跨国家和跨境的同步实例创建反向实例。...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
配置项目 配置说明 目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步作业不会被启动。说明 ...
2024年
本文为您介绍了MaxCompute 2024年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性...该方案可以方便地进行数据分析和处理，并保证数据的可靠性和安全性。MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
“同名对象存在性检查”产生警告
本文介绍在配置DTS同步或迁移任务过程中，预检查 阶段检测出目标库中存在与源库同名的结构对象时的处理方法。问题描述 在配置同步或迁移实例的 预检查 阶段，同名对象存在性检查 出现警告，检查项的详情页面如下图所示：可能原因 DTS任务的...
编辑脚本
脚本输入/输出配置说明 不同类型的脚本需配置的输入输出不同，如下：只有脚本类型为 创建联邦表、预处理规则 和 预处理应用 的脚本需配置输出数据，且该类型脚本的输出数据保存在联邦表文件夹中。脚本类型 输入配置 输出配置 创建联邦表 ...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
配置学区地图单选框交互
使用同样的方式对 初中 节点进行连线并添加 串行数据处理 节点。最终的连线效果如下。连线的原理为：将 全选 的 串行数据处理 节点分别与 公办 和 民办 的 显示 动作连线。将 公办 的 串行数据处理 节点分别与 公办 的 显示 动作和 民办 的...
配置学区地图单选框交互
使用同样的方式对 初中 节点进行连线并添加 串行数据处理 节点。最终的连线效果如下。连线的原理为：将 全选 的 串行数据处理 节点分别与 公办 和 民办 的 显示 动作连线。将 公办 的 串行数据处理 节点分别与 公办 的 显示 动作和 民办 的...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
数据保护伞概述
细分操作 描述 参考文档 配置数据分类分级 用于对您的数据按照数据价值、内容敏感程度、影响和分发范围进行敏感级别划分，后续可基于分类分级进行数据管控操作。不同敏感级别的数据管控原则和数据开发要求存在差异。DataWorks提供了内置的...
云数据库MongoDB版（分片集群架构）间的双向同步
您需要根据业务需求，在源和目标 云数据库MongoDB版 实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer（源 云数据库MongoDB版 实例必须在增量同步期间开启Balancer）并进行预分片。更多信息，请参见 设置数据分片以充分利用...
云数据库MongoDB版（分片集群架构）间的双向同步
您需要根据业务需求，在源和目标 云数据库MongoDB版 实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer（源 云数据库MongoDB版 实例必须在增量同步期间开启Balancer）并进行预分片。更多信息，请参见 设置数据分片以充分利用...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
云数据库MongoDB版（副本集架构）迁移至云数据库...
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
云数据库MongoDB版（副本集架构）迁移至云数据库...
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
请根据业务需求，在目标 云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
请根据业务需求，在目标 云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何处理分片集群架构的MongoDB数据分布不...
云数据库MongoDB版（分片集群架构）同步至云数据库...
若目标MongoDB为分片集群架构实例，请根据业务需求，在目标 云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何...
云数据库MongoDB版（分片集群架构）同步至云数据库...
若目标MongoDB为分片集群架构实例，请根据业务需求，在目标 云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见 设置数据分片以充分利用Shard性能 和 如何...
- 产品推荐
- 这些文档可能帮助您