导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
创建RDS PostgreSQL数据订阅任务
DTS要求源数据库的WAL日志保存24小时以上，否则DTS可能因无法获取WAL日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的WAL日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。若源实例为...
ApsaraDB For OceanBase数据源
但实时同步OceanBase的数据至 AnalyticDB for MySQL，目前仅支持同步单个物理库的数据，不支持同步逻辑库数据。说明 在整库实时同步任务中，不支持连接串模式数据源。在整库实时同步任务中，版本需要在V3.0及以上。数据同步前准备 在...
使用Kafka客户端消费订阅数据
注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完就执行了提交操作，从而丢失部分数据，建议采用手动提交的方式以避免该问题。说明 如果发生故障没有提交成功，重启客户端后会从上...
数据导入方式
DataWorks是阿里云推出的全链路大数据开发治理平台，融合了数据集成、数据开发、数据运维等多种功能。Lindorm宽表引擎支持通过DataWorks配置导入任务，将MySQL、PolarDB、PostgreSQL、Oracle、SQL Server和Cassandra中的数据 全量导入 至...
实时同步常见问题
升级资源组规格：当源端数据量增大，或者同步解决方案任务重新编辑过同步任务（将任务由读取单库单表变更为读取多库多表），导致当前资源组消耗不了当前同步数据量级，此时您可选择扩大资源组规格，资源组规格调整详情请参考：变更规格操作...
Tunnel命令常见问题
用户通过外网的Endpoint上传数据，由于外网网络质量不稳定导致超时。解决措施 在上传的过程中，先获取数据，再调用Tunnel SDK上传数据。一个Block可以上传64 MB~100 GB的数据，最好不要超过1万条数据以免因重试导致超时。一个Session可以...
技术面临的挑战与革新
这种类型的架构好处显而易见，数据Sharding的方式让数据存取以及处理可以并行化，计算存储本地化最大化提升了数据读写的带宽以及延时。在过去网络IO还是一大瓶颈的年代，分布式系统设计以及优化的一大原则就是尽量使得计算存储本地化，避免...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
Tunnel SDK常见问题
MaxCompute Java SDK在0.21.3-public版本之后新增了BufferedWriter的SDK，简化了数据上传，并且提供了容错功能。BufferedWriter从用户角度看，就是在Session上打开一个Writer然后进行写记录即可。具体实现是，BufferedWriter先将记录缓存在...
使用Kafka客户端消费订阅数据
注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完就执行了提交操作，从而丢失部分数据，建议采用手动提交的方式以避免该问题。说明 如果发生故障没有提交成功，重启客户端后会从上...
数据归档至AnalyticDB PostgreSQL版
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB PostgreSQL版 查询归档数据 具体的查询操作，请参见 查询...
全增量同步任务常见问题
使用数据同步任务同步了数据源表至Hologres的外部表。目前，Hologres Writer不支持写入数据至Hologres外部表。如何处理：您需要使用Hologres的内部表作为同步任务的目标表。如果Hologres目标表不存在，请在配置数据同步任务时使用 自动建表...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
数据归档至RDS MySQL
本文为您介绍将数据归档至 RDS MySQL 的操作步骤。前提条件 支持如下类型的源数据...归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）
近实时数仓数据入仓介绍
为满足业务对数据仓库中高度时效性数据的需求，MaxCompute基于Transaction Table2.0实现了分钟级近实时数据写入和主键更新功能，显著提升了数据仓库的数据更新效率。数据写入场景 面对具有突发性和热点性的客户行为日志，如评论、评分和点...
通过X2Doris导入数据
2.选择安装包 X2Doris底层采用Spark实现，推荐部署到有Hadoop、Yarn的大数据网络环境中，这样可以充分利用大数据的集群能力，能大大提高数据迁移的效率和速度。如果没有大数据环境也可以的，单机部署即可(X2Doris包含内置的Spark。如果没有...
Spark常见报错
报错原因：通过Spark访问JDBC数据源时，OPTIONS 配置项中的 url 和 dbtable 参数重复指定了数据表。解决方法：数据表仅需指定一次，请删除 url 参数中指定的表名。SQLException.*No suitable driver found for 报错出现日志：Driver日志。...
数据归档至PolarDB MySQL版
本文为您介绍将数据归档至 PolarDB MySQL版 的操作步骤。前提条件 源数据库为：...归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）
数据归档至Lindorm
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过Lindorm查询归档数据 宽表引擎 数据查询。周期调度 配置项 说明 调度...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
数据归档至AnalyticDB MySQL 3.0
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB MySQL版 查询归档数据 具体的查询操作，请参见 导入数据...
PolarDB PostgreSQL版（兼容Oracle）迁移至自建Oracle
若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
使用限制
数据库连接 不支持切换网络类型。不支持专有网络切换为经典网络。支持经典网络切换为专有网络，切换方法请参见 经典网络切换为专有网络。数据备份 不支持 物理备份 和 逻辑备份。仅支持 快照备份。说明 快照备份可以保留某一时间点的磁盘...
DM（达梦）数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo {...
RDS术语
B 半同步 应用发起的更新在主实例执行完成后，会将日志同步传输到备实例，备实例收到日志，表示事务完成提交，不需要等待备实例执行日志内容。当备实例不可用或者主备实例间出现网络异常时，半同步会退化为异步。包年包月 预付费，即在新建...
云数据库录入
SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。实例DBA 选择一个DBA角色进行后续权限申请等流程。查询超时时间（s）设定安全策略，当达到设定的时间后，SQL窗口执行...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
Presto FAQ
大查询功能并不能让您查询任意大小的数据量和任意复杂的SQL，如果big_query还解决了不了您的问题请联系DLA答疑同学。Schema的Catalog类型必须是Hive，否则会出现如下报错：big_query only support hive catalog.如何调整查询RDS类数据源...
Oracle数据源
支持 不支持 STRUCT 支持 支持 不支持 User-Defined Types 不支持 不支持 不支持 AnyType 不支持 不支持 不支持 AnyData 不支持 不支持 不支持 AnyDataSet 不支持 不支持 不支持 XmlType 不支持 不支持 不支持 Spatial Types 不支持 不支持...
RDS术语
B 半同步 应用发起的更新在主实例执行完成后，会将日志同步传输到备实例，备实例收到日志，表示事务完成提交，不需要等待备实例执行日志内容。当备实例不可用或者主备实例间出现网络异常时，半同步会退化为异步。包年包月 预付费，即在新建...
MongoDB 7.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 4.4
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 6.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
Vertica数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
MongoDB 5.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 4.2
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 说明 代表支持，代表不支持。计费管理 功能 通用型...
- 产品推荐
- 这些文档可能帮助您