迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
实时同步字段格式
当操作类型为UPDATE时，数据集成会将其拆分为两条记录。一条是更新前记录，一条是更新后记录。这两条增量数据的_sequence_id_、_operation_type_及_execute_time_对应的值一致。第一条增量数据是更新前的值，所以_before_image_取值为Y，_...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
HDFS数据源
例如您配置 nullFormat:"null"，如果源头数据是null，数据集成会将其视作null字段。说明 字符串的null（n、u、l、l四个字符）和实际的null不同。否 无 compress 当fileType（文件类型）为csv下的文件压缩方式，目前仅支持gzip、bz2、zip、...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
时序引擎版本说明
修复最新值查询在扩容后可能会出现返回多条数据的问题。修复降采样查询中不支持常量折叠计算的问题。修复正则查询降采样数据时间条件不生效的问题。3.4.10 2022年02月28日 新特性 SQL查询语句tags支持通过正则表达式过滤。支持non_negative...
MySQL分库分表同步至MaxCompute
编辑目标表结构 单击 MaxCompute表名，可以预览MaxCompute表结构，在创建MaxCompute表时，数据集成会给MaxCompute自动加上一列_src_info_用于标识这行数据来自哪个子表。src_info_配合源表主键，也可以用于唯一定位一行数据。说明 目前自动...
MySQL分库分表同步至MaxCompute
编辑目标表结构 单击 MaxCompute表名，可以预览MaxCompute表结构，在创建MaxCompute表时，数据集成会给MaxCompute自动加上一列_src_info_用于标识这行数据来自哪个子表。src_info_配合源表主键，也可以用于唯一定位一行数据。说明 目前自动...
MySQL分库分表同步至Hologres（方案1.0）
该步骤数据集成会自动拉取要同步的源表表结构，并按照表（库）名转换规则将其自动映射到目标Hologres表。单击 刷新源表和Hologres表映射，结果如下：批量添加附加字段。为了更好的区分上游表的来源，需要为目标表添加附加字段。勾选所有的...
一键实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至Elasticsearch
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至DataHub
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤六：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
查看历史任务
数据集成任务会在每个调度时间点生成一个数据迁移任务，通过DTS控制台您可以查看所有已经运行完成的数据迁移任务，了解该任务的执行情况。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据...
一键实时同步至Kafka
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤六：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至Hologres（方案2.0）
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：执行同步解决方案任务 在 数据集成 主站页面，单击左侧菜单栏的 同步任务 ...
全增量实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：执行同步解决方案任务 进入 数据集成>同步任务 界面，找到已创建的同步方案...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待迁移的表，分批配置任务。如需进行增量迁移，数据日志：需开启，备份模式设置为Full，且已成功执行过全量物理备份。如为增量迁移任务，DTS要求源数据库的数据日志保存24...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待迁移的表，分批配置任务。如需进行增量迁移，数据日志：需开启，备份模式设置为Full，且已成功执行过全量物理备份。如为增量迁移任务，DTS要求源数据库的数据日志保存24...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
近实时增量导入
涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据集成以及其它数据导入工具，...
公共数据集成（调试）资源组
本文为您介绍公共数据集成（调试）资源组相关问题。公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组支持哪些类型的任务？公共数据集成（调试）资源组支持哪些网络类型？公共数据集成（调试）资源组的性能限制 公共数据...
资源组操作及网络连通
任务运行在独享数据集成资源上，日志中会出现如下信息：running in Pipeline[basecommon_S_res_group_xxx]。如何切换任务在调度系统中执行所用的资源组 在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组：在数据开发...
配置资源组与网络连通
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。独享资源组EIP为一个地域内所有独享资源组公用，如果您将此EIP拦截，将导致此地域上...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
公共数据集成（调试）资源组：按量计费
背景信息 所有阿里云DataWorks用户共享使用公共数据集成（调试）资源组资源，使用高峰期可能会出现不同用户间抢占资源的情况，无法保证任务及时调度执行。您可以直接使用独享数据集成资源组，保障任务的运行，独享数据集成资源组的介绍可...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
数据集成侧同步任务配置
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。后续步骤 完成任务配置后，您可以对已创建的任务进行管理、执行加减表操作，或对任务...
- 产品推荐
- 这些文档可能帮助您