补数据
为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据，但是没有生成补数据实例？周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以...
问题汇总
为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据，但是没有生成补数据实例？等待资源 为什么会出现等待资源？为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会空跑 ...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
写入与查询
常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓版（3.0）集群是否支持读取OSS中的Hudi表数据？湖仓版（3.0）集群是否支持自动切换在线作业和离线作业？湖仓版（3.0）集群如何选择XIHE MPP还是XIHE BSP来执行...
离线同步常见问题
脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和目的端数据类型比较，看哪一条或哪一些不合规范。比如：{"byteSize":28,"index":25,"rawData":"ohOM71vdGKqXOqtmtriUs5QqJsf4","type":"STRING"} byteSize：字节...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
导入与导出
整库同步：在AnalyticDB MySQL中新建一张表，表名要不同于报错的表，表结构需要和源表的表结构一致，通过 INSERT INTO SELECT 将源表中的数据写入新建表中，删除报错的表，然后通过Rename将新表更名为报错的表名，重启DTS任务即可。...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
支持的数据库
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等数据源间的数据交互。本文详细介绍DTS支持的数据库、迁移类型、同步初始化类型、同步拓扑和支持订阅的数据类型。说明 关于文中涉及的迁移类型、同步类型、订阅的数据...
DQL操作常见问题
ORDER BY MaxCompute查询得到的数据是根据什么排序的？MaxCompute是否支持ORDER BY FIELD NULLS LAST语法？执行MaxCompute SQL过程中，报错ORDER BY must be used with a LIMIT clause，如何解决？子查询 在执行MaxCompute SQL过程中，使用...
Tunnel命令常见问题
这种情况下可以先用少量的数据进行测试，当-td 及-fd 调试成功后再上传全量数据。使用Tunnel Upload命令上传数据时，需要上传很多数据文件到一个表中，是否有方法写一个脚本就可以把文件夹下的所有数据文件上传上去？Tunnel Upload命令支持...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
与标准SQL的主要区别及解决方法
解决方案请参见 MaxCompute查询得到的数据是根据什么排序的？UNION ALL 参与UNION ALL运算的所有表必须列数一致，否则会报错。参与UNION ALL运算的所有列的数据类型、列个数和列名称必须完全一致。UNION ALL需要再嵌套一层子查询。无。
ApsaraDB For OceanBase数据源
但实时同步OceanBase的数据至 AnalyticDB for MySQL，目前仅支持同步单个物理库的数据，不支持同步逻辑库数据。说明 在整库实时同步任务中，不支持连接串模式数据源。在整库实时同步任务中，版本需要在V3.0及以上。数据同步前准备 在...
常见问题
如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟ClickHouse对不上？如何使用Spark、Flink导入数据？如何从现有ClickHouse导入数据到云数据库...
DB2数据源
支持的字段类型 离线读写 DB2 Reader和DB2 Writer支持大部分DB2类型，但也存在个别类型没有支持的情况，请注意检查您的数据类型。DB2 Reader和DB2 Writer针对DB2类型的转换列表，如下所示。类型分类 DB2数据类型 整数类 SMALLINT 浮点类 ...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
SQL查询
支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL、EMR Impala、EMR Presto、EMR Trino、CDH hive、StarRocks、ClickHouse、AnalyticDB for MySQL3.0、AnalyticDB for PostgreSQL、MySQL。...
数据源配置常见问题
您只需要获取到 from 和 to 两个字段的数据，字段内用逗号把经度、纬度拼接起来即可（和静态数据及API会略有不同）。组件数据请求报timeout，该如何处理？可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果...
数据源配置常见问题
您只需要获取到 from 和 to 两个字段的数据，字段内用逗号把经度、纬度拼接起来即可（和静态数据及API会略有不同）。组件数据请求报timeout，该如何处理？可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果...
自建Oracle迁移至DataHub
在DTS迁移数据期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。费用说明 迁移类型 链路配置费用 公网流量费用 结构迁移 不收费。本示例不收费。说明 通过公网将数据迁移出阿里云时将收费，详情请参见 计费概述...
PolarDB-X 1.0迁移至阿里云消息队列Kafka
投递到Kafka的数据格式 根据需求选择迁移到Kafka实例中的数据存储格式。如果您选择 DTS Avro，根据DTS Avro的schema定义进行数据解析，schema定义详情请参见 DTS Avro的schema定义。如果您选择 Canal Json，Canal Json的参数说明和示例请...
RDS MySQL迁移至MaxCompute
是否限制增量迁移速率 您也可以根据实际情况，选择是否对增量迁移任务进行限速设置（设置 每秒增量迁移的行数RPS 和 每秒增量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 增量迁移 时才可以配置。环境标签 您...
PolarDB-X 1.0迁移至DataHub
是否限制增量迁移速率 您也可以根据实际情况，选择是否对增量迁移任务进行限速设置（设置 每秒增量迁移的行数RPS 和 每秒增量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 增量迁移 时才可以配置。环境标签 您...
数据湖管理FAQ
围绕OSS对象存储等数据湖存储，构建上层可扩展的数据入湖能力，把Hudi、Delta等高效的对象管理格式和Parquet、ORC等对象格式，写入到数据湖中，并在写入过程中支持UPSERT、小文件合并、MVCC多版本、快照读等能力，用数仓的特性来解决单纯...
Db2 for LUW迁移至PolarDB-X 2.0
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS MariaDB迁移至RDS PostgreSQL
已在目标RDS PostgreSQL实例中创建用于接收数据的数据库。具体操作，请参见 创建账号和数据库。注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。不兼容触发器。建议您删除源库的触发器，以避免因触发器而...
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
PolarDB MySQL版迁移至RDS MySQL
特殊情况 当目标库为RDS MySQL时，DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS MySQL中创建数据库。相关操作，请参见 管理数据库。费用说明 迁移类型 链路配置...
RDS PostgreSQL迁移至RDS MySQL
当目标实例为RDS MySQL时，DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS MySQL中创建数据库。相关操作，请参见 管理数据库。费用说明 迁移类型 链路配置费用 公网...
自建Oracle迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标集群 PolarDB MySQL版。说明 目标集群 PolarDB ...
PolarDB-X 2.0间的迁移
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB-X 2.0 间的数据迁移。前提条件 已创建源和目标 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标 PolarDB-X 2.0 实例的存储空间须大于源 PolarDB-X 2.0 实例占用的...
PolarDB MySQL版迁移至自建Oracle
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群的数据迁移至自建Oracle。前提条件 已创建存储空间大于源 PolarDB MySQL版 集群已占用存储空间的自建Oracle数据库。若自建Oracle为RAC结构，需通过...
PolarDB PostgreSQL版（兼容Oracle）迁移至AnalyticDB...
是否限制增量迁移速率 您也可以根据实际情况，选择是否对增量迁移任务进行限速设置（设置 每秒增量迁移的行数RPS 和 每秒增量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 增量迁移 时才可以配置。环境标签 您...
自建Oracle迁移至AnalyticDB MySQL 3.0
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建存储空间大于源自建Oracle占用存储空间的目标 云原生数据仓库AnalyticDB ...
自建MySQL迁移至RDS MySQL
若您的MySQL数据库部署在本地或他云上，您需要将DTS服务器的IP地址添加到该数据库远程连接的白名单中，以允许其访问您的数据库。更多信息，请参见 迁移、同步或订阅本地数据库时需添加的IP白名单。已创建存储空间大于自建MySQL数据库占用...
- 产品推荐
- 这些文档可能帮助您