IoT数据自动化同步至云端解决方案
解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。例如，使用OSS存储原始信息为CSV文件。但同步至大数据系统或传统数据库的数据，需要使用专业的...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
Oracle数据源
使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单实例，当天实时同步最大支持同步500G增量数据。DataWorks的数据集成实时同步Oracle数据是基于Oracle Logminer日志分析工具实现的，Oracle仅...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
MySQL数据源
是 无 table 选取的需要同步的表名称，一个数据集成任务只能同步数据到一张目标表。table 用于配置范围的高级用法示例如下：您可以通过配置区间读取分库分表，例如 'table_[0-99]' 表示读取 'table_0'、'table_1'、'table_2' 直到 'table_...
数据迁移或同步方案概览
方案 数据量 全量迁移 增量迁移 DTS：PolarDB-X 1.0间同步 PolarDB-X 1.0同步至RDS MySQL PolarDB-X 1.0同步至PolarDB MySQL 说明 仅基于RDS MySQL创建的 PolarDB-X 1.0 数据库支持通过DTS进行数据同步。大√大×大√大√评估导入导出：从...
离线同步常见问题
离线同步数据至本地Hive报错：Could not get block locations.MongoDB同步任务运行报错：no such cmd splitVector MongoDB离线同步报错：After applying the update,the(immutable)field '_id' was found to have been altered to_id:"2"离...
SQL Server数据源
当配置此项后，数据同步系统就会忽略tables、columns配置项，直接使用这项配置的内容对数据进行筛选，例如需要进行多表join后同步数据，使用 select a,b from table_a join table_b on table_a.id=table_b.id。当您配置querySql时，SQL ...
MariaDB数据源
例如，需要进行多表join后同步数据，使用 select a,b from table_a join table_b on table_a.id=table_b.id。当您配置 querySql 时，MariaDB Reader直接忽略 table、column、where 和 splitPk 条件的配置，querySql 优先级大于 table、...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
DRDS（PolarDB-X）数据源
where 条件不配置或者为空时，视作全表同步数据。例如，在测试时使用where条件指定实际业务场景。通常会选择当天的数据进行同步，您可以指定 where 条件为 STRTODATE('${bdp.system.bizdate}','%Y%m%d')(STRTODATE('${bdp.system.bizdate}'...
DB2数据源
常见问题 主备同步数据恢复问题 主备同步问题指DB2使用主从灾备，备库从主库不间断通过binlog恢复数据。由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会导致备库同步恢复的数据不是一份当前时间的完整镜像，与主库有较大...
HybridDB for MySQL数据源
例如需要进行多表join后同步数据，使用[“id”,“table”,“1”,“‘mingya.wmy’”,“‘null’”,“to_char(a+1)”,“2.3”,“true”]。当您配置querySql时，HybridDB for MySQL Reader直接忽略 column、table 和 where 和splitPk条件的...
AnalyticDB for MySQL 3.0数据源
AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能，本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。使用限制 ADB湖仓版数据源不支持在公共资源组配置以及运行同步任务...
Vertica数据源
where 条件不配置或者为空，视作全表同步数据。否 无 querySql 在部分业务场景中，where 配置项不足以描述所筛选的条件，您可以通过该配置型来自定义筛选SQL。配置该项后，数据同步系统会忽略 tables、columns 和 splitPk 配置项，直接使用...
GBase8a数据源
where 条件不配置或为空，则视作全表同步数据。否 无 querySql 在部分业务场景中，where 配置项不足以描述所筛选的条件，您可以通过该配置型来自定义筛选SQL。配置该项后，数据同步系统会忽略 tables、columns 和 splitPk 配置项，直接使用...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
PolarDB数据源
否 无 splitFactor 切分因子，可以配置同步数据的切分份数，如果配置了多并发，会按照 并发数*splitFactor 份来切分。例如，并发数=5，splitFactor=5，则会按照5*5=25份来切分，在5个并发线程上执行。说明 建议取值范围：1～100，过大会...
SAP HANA数据源
SAP HANA数据源为您提供读取和写入SAP HANA双向通道的功能，本文为您介绍DataWorks的SAP HANA数据同步的能力支持情况。使用限制 离线同步支持读取视图表。目前该数据源仅支持 独享数据集成资源组。支持的字段类型 SAP HANA Reader针对SAP ...
KingbaseES（人大金仓）数据源
KingbaseES数据源为您提供读取和写入KingbaseES双向通道的功能，本文为您介绍DataWorks的KingbaseES数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。整个同步任务必须具备 insert/replace into 的权限。配置同步...
Memcache（OCS）数据源
Memcache（原名OCS）数据源为您提供其它数据源向Memcache写入数据的功能，目前仅支持脚本模式配置同步任务，本文为您介绍DataWorks的Memcache（OCS）数据同步的能力支持情况。使用限制 当前仅支持使用脚本模式将数据写入Memcache（OCS）。...
从ECS上的自建MySQL同步至PolarDB MySQL版
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
从ECS上的自建MySQL同步至PolarDB MySQL版
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
PolarDB MySQL版间的双向同步
支持的冲突检测 为保障同步数据的一致性，您需要确保同一个主键、业务主键或唯一键的记录只在一个PolarDB集群上执行更新。如果发生了误操作，在两个 PolarDB MySQL版 集群上均执行更新，那么将出现同步冲突。DTS通过冲突检测和修复最大程度...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
准备数据
数据过滤 您将要同步数据的筛选条件，暂时不支持limit关键字过滤。SQL语法与选择的数据源一致，此处可以不填。切分键 读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。此处可以不填。选择数据去向。参数 ...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
PolarDB MySQL版间的双向同步
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
PolarDB MySQL版间的单向同步
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
PolarDB MySQL版间的单向同步
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
数据迁移和同步方案概览
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute外表导入（20...
从RDS MySQL同步至PolarDB MySQL版
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
技术架构
节点间只需要同步内存里的元数据信息，通过MVCC机制的保证，就能支持跨节点读取数据的一致性，非常巧妙地解决了主实例和副本之间的数据同步问题，大大节约了跨节点的网络开销，降低副本间的同步延迟。PolarDB PostgreSQL版（兼容Oracle）的...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库...
从PolarDB MySQL版同步至RDS MySQL
RENAME TABLE限制 RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含表A，如果同步过程中源实例将表A重命名为表B，那么表B将不会被同步到目标库。为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为...
- 产品推荐
- 这些文档可能帮助您