数据集成
离线同步任务 场景介绍 离线数据同步支持 源端单表同步至目标端单表、源端分库分表同步至目标端单表 两类同步场景。同时，结合DataWorks调度参数，可实现增量数据和全量数据周期性写入目标表的对应分区；再配合运维中心的补数据功能，可...
移动端同步问题
本文旨在介绍移动端同步时需要注意的事项。页面数量同步：移动端与PC端，页面和页头页尾是共用的，但页面上的内容是相互独立的。也就是在移动端页面管理内新建一个页面，PC端也会相应的新增页面。首页是共用的，所以PC端与移动端只能设置...
快速入门-数据同步
安装客户端 同步HDFS、本地NAS、S3和OSS数据源前，您需要在数据源服务器安装客户端。客户端用于和 云备份 建立通信服务和管控服务。添加数据源 在 云备份 控制台添加HDFS、本地NAS、S3兼容存储和对象存储OSS数据源。创建同步计划 创建数据...
角标同步接口
同步角标数到服务端 同步设备当前角标数到推送服务端，配合角标自增功能（参考 OpenAPI 2.0 高级推送接口，搜索 iOSBadgeAutoIncrement）使用。注意 SDK V1.9.5及以上版本支持。接口定义+(void)syncBadgeNum:(NSUInteger)num withCallback:...
现代IM系统中的消息系统—架构
基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现全量消息云端存储和索引、百万TPS写入以及毫秒级延迟的消息同步和检索能力。背景 在这个高度信息化的移动互联网...
使用云数据库Redis版实现即时通信场景中的多端同步
本文为您介绍一种使用云数据库Redis版在IM场景中实现多端同步的方案。消息存储模型 通常，IM系统的核心架构分为三个部分：消息管理模块、消息同步模块、通知模块。这三个模块的作用如下：消息管理模块主要负责接收和存储消息。消息同步模块...
RRPC能力
功能介绍 MQTT协议是基于PUB/SUB的异步通信模式，不适用于服务端同步控制设备端返回结果的场景。物联网平台基于MQTT协议制定了一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。物联网平台提供API给服务端，设备端只需要按照...
如何使用SyncStore服务？
如上，4个设备都安装了接入了SyncStore SDK 的应用程序，当手机的上的数据改变时，会自动的将数据同步到云端，然后云端会自动的把数据实时的下发到其他3个客户端，实现数据自动的多端同步。这样一个跨设备，跨平台，多端实时同步的应用场景...
创建与释放全球多活数据库集群
如同步对象为表级别，且需进行编辑（例如更改其表名和列名）后再写入目标库，则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置任务。其它限制 Binlog日志：需开启，...
UpdateDIJob
当dmlType=Update/Delete时使用）、LogicalDelete（逻辑删除）filterCondition：DML过滤条件，当dmlAction=Filter时使用 TableMappings Array 否 同步对象转换映射列表，列表中每个元素描述了一组源端同步对象选择规则列表和在该组同步对象...
HBase SQL（Phoenix）FAQ
执行create index主要有两个步骤，第一步在server端同步源表数据到索引表，第二步在客户端发起请求修改索引表状态设置为active。其中第一步一般是客户端发起请求在server端完成后。创建同步索引表，同步索引数据的速度怎么样？一般情况下...
EMR Hive数据整库离线同步至MaxCompute
数据集成支持从Hive同步数据到其他目标端，也支持从其他目标端同步数据到Hive。添加数据源 新建MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。新建Hive数据源 在DataWorks 数据源管理 页面，单击 新建数据源，...
EMR Hive数据整库离线同步至MaxCompute
数据集成支持从Hive同步数据到其他目标端，也支持从其他目标端同步数据到Hive。添加数据源 新建MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。新建Hive数据源 在DataWorks 数据源管理 页面，单击 新建数据源，...
通过DTS导入数据
选择粒度为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。已选择对象 如需更改单个...
添加或移除单元节点
注意事项（重要）由于不同国家及地区之间有不同的法律法规，如果涉及到 跨境同步，需要先提交 DTS工单 报备，待审批通过后再添加单元节点。工单中需提供如下内容：阿里云账号ID、需同步的地域、需同步的内容。如 移除单元节点，则该单元...
PolarDB-X 2.0同步至DataHub
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。Binlog日志：在PolarDB-X 2.0控制台参数设置...
配置数据同步任务
如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL...
API概览
数据同步 API 描述 CreateSynchronizationJob 购买同步实例。ConfigureSynchronizationJob 配置同步实例。StartSynchronizationJob 启动同步实例。SuspendSynchronizationJob 暂停同步实例。ResetSynchronizationJob 清空同步实例配置。...
【通知】2024年03月01日部分旧版OpenAPI接口下线
ConfigureMigrationJob ConfigureSynchronizationJob 配置同步实例 ConfigureSynchronizationJob CreateSubscriptionInstance 购买订阅实例 CreateSubscriptionInstance CreateSynchronizationJob 购买同步实例 CreateSynchronizationJob ...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
配置同步任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据同步功能简单易用，您只需在新版控制台上进行简单操作，即可完成整个数据同步作业的配置。注意事项 本文仅简单介绍数据同步任务的通用配置流程，不同的同步链路在配置数据同步任务...
离线同步能力说明
数据同步场景 离线同步支持单表同步至目标端单表、分库分表同步至目标端单表两类同步场景。同时，结合DataWorks调度参数，实现增量数据和全量数据周期性写入到目标表对应分区功能。离线同步任务使用调度参数，再结合 运维中心 补数据 功能...
数据集成侧同步任务能力说明
数据同步场景 全增量同步任务支持单表数据同步至目标端单表、分库分表数据同步至目标端单表、整库（多表）数据同步至目标端多表。DataWorks为您提供多种类型的全增量同步任务。包括整库离线同步（一次性全量同步、周期性全量同步、离线全...
接入 Android
reportMsgReceived(SyncMessage syncMessag)用于在 syncCallback 实现类中收到数据后，调用该接口通知数据同步服务端接收同步数据成功。在没有收到 reportMsgReceived 前，数据同步会重试投递，重试 6 次之后数据会被永久删除。isConnected...
Android 接口
reportMsgReceived(SyncMessage syncMessag)声明 public static void reportMsgReceived(SyncMessage msg)说明 用于在 syncCallback 中收到同步推送的数据后，调用该接口通知移动同步服务端接收同步数据成功。在没有收到 reportMsgReceived...
概述
本文介绍通过配置C Link SDK，实现设备端接收同步消息，并处理和应答下发对设备的控制指令。前提条件 已准备开发环境。已获取C Link SDK。定制SDK时，在 SDK定制 页面的 连接物联网平台协议 区域，选中 MQTT 3.1.1。已获取设备认证信息。...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
实时同步任务告警设置最佳实践
对于DataWorks数据集成的实时同步任务、全增量同步任务的实时同步阶段，您可以设置任务告警规则，用来监控同步任务的状态，本文为您介绍实时同步任务告警设置的指标有哪些，并为您示例一个最佳实践。告警规则指标 您可以在DataWorks的运维...
同步日志
触发任务记录的事件 触发模块 记录任务的情况 只有日志的情况 身份提供方 IdP 从 IdP 批量导入（定时/手动）一次性全量同步到 IdP（暂不支持）IdP 单条数据变更同步到 IDaaS IDaaS 单条数据变更同步到 IdP 应用 一次性批量将账户同步给应用...
PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道，本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写：支持PolarDB-X 2.0，...
什么是RRPC
MQTT协议基于PUB/SUB的异步通信模式，不适用于服务端控制设备端并同步获取返回结果的场景。物联网平台基于MQTT协议给用户服务端提供了RRPC接口，实现用户服务端下发RRPC消息数据并同步等待设备响应数据。名词解释 名词 说明 RRPC 是Revert-...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
iOS 接口
通知移动同步服务客户端 SDK 已经取消某同步配置的消息监听，不再接收该同步配置的 Sync 消息，内部调用了[[NSNotificationCenter defaultCenter]removeObserver:observer name:bizName object:nil];进行监听移除。调用该接口后不会再分发...
SQL Server数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步任务配置指导 操作流程请参见 数据集成...
申请跨境数据同步权限
若您是在任务页面申请的跨境数据同步权限，可以继续配置跨境数据同步任务：先购买再配置 重新购买并配置跨境同步任务，操作步骤请参见 购买流程。先配置再购买 在同步任务的列表页面查找已配置的任务，单击目标任务的 启动任务，然后根据...
通过数据同步功能同步SLS数据至数仓版
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
通过数据同步功能同步SLS数据至湖仓版
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
CREATE DATABASE AS（CDAS）语句
CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更...如果您需要进行单表同步、分库分表合并同步或自定义计算列同步，请参见 CREATE TABLE AS（CTAS）语句。使用CTAS和CDAS实现数据同步的教程详情请参见 数据库实时入仓快速入门。
设置过滤条件
同步多个前缀 dtsnew,dtsold 只将待同步对象中Key以 dtsnew 和 dtsold 开始的数据同步至目标端。同步和过滤混用 需要同步的前缀 填入：dts 需要过滤的前缀 填入：dtstest 只将待同步对象中Key以 dts 开始，且不以 dtstest 开始的数据同步至...
- 产品推荐
- 这些文档可能帮助您