概述
阿里云物联网平台提供的RRPC功能，是基于MQTT协议的一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。本文介绍通过配置C Link SDK，实现设备端接收同步消息，并处理和应答下发对设备的控制指令。前提条件 已准备开发环境。已...
RAM用户同步概述
本文为您介绍RAM用户同步的定义、使用流程和使用限制。什么是RAM用户同步 云SSO用户可以通过 RAM角色 或 RAM用户 访问RD账号的云资源，两种访问方式的差异如下表所示。本文主要为您介绍通过RAM用户登录的访问方式，即您可以配置RAM用户同步...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
GenerateDISyncTaskConfigForCreating
DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建数据集成离线同步任务，而数据集成实时同步任务和其他同步类型的任务则需要先调用 GenerateDISyncTaskConfigForCreating 和 QueryDISyncTaskConfigProcessResult 接口，获取异步生成...
Notebook
Q：Notebook里执行任务，不同用户之间是串行的么？如果是SQL，是可以并行执行的；如果是Scala代码，是串行执行的，因为默认所有Note共享一个SparkContext。相关配置：参数 默认取值 zeppelin.spark.concurrentSQL true zeppelin.spark....
操作示例
以同样的方式，配置 串行 数据处理 节点（此步骤作用是将列表的数据格式转换成标题的数据格式）。上图中的示例转换格式的规则如下。return[{ value:data.content }];单击右上角的 预览，在预览页面进行交互操作（例如单击列表某一格等），...
AnalyticDB for MySQL 3.0数据源
AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能，本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。使用限制 ADB湖仓版数据源不支持在公共资源组配置以及运行同步任务...
同步平台模型到本地代码
本文介绍三种不同的方式，将平台模型与本地代码不一致的部分以平台模型为准同步到本地。方式一：通过QuickFix对当前文件部分同步 BizWorks Toolkit插件会对编辑中文件做即时检查，在通过检查后的QuickFix列表中，选用适合的操作将平台模型...
线下路由同步方式
线下路由同步方式为智能接入网关学习本地网络私网网段的方式。通过配置线下路由同步方式，智能接入网关可以学习到用户本地网络的私网网段并将私网网段自动同步至阿里云。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域...
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
使用云数据库Redis版实现即时通信场景中的多端同步
1001 100103 HSET bob dev_1002 100202 总结 IM通信已经成为互联网环境中最常见通信方式之一，借助云数据库Redis版丰富的数据结构，您可以构建出高可用的IM系统。不仅是本文提到的消息同步模块，IM系统的消息存储模块也可以使用Redis进行...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
账户/组织同步
入方向同步 IDaaS 支持的入方向同步方式如下：入方向同步方式 对接方 描述 从身份提供方同步 身份提供方 支持 绑定钉钉-入方向，绑定企业微信，绑定AD，绑定OpenLDAP，绑定 OIDC 身份提供方。暂不支持：飞书等其他身份提供方。Developer ...
添加 SDK
本文将引导您在基于 mPaaS 框架、基于原生框架且使用 mPaaS 插件或基于原生框架且使用 CocoaPods 的接入方式下，添加诊断或消息推送 SDK。说明 诊断功能支持上述三种接入方式，您可以自由选择。更多信息，请参见 接入方式介绍。诊断功能...
物联网平台通信方式概述
MQTT同步通信相关说明，请参见 什么是RRPC。调用 RRpc 接口同步控制设备实践案例，请参见 远程控制树莓派服务器。批量控制：调用 PubBroadcast 接口向产品下的全量在线设备发布广播消息，实现批量控制设备。批量控制设备的详细说明，请参见...
RRPC能力
物联网平台基于MQTT协议制定了一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。物联网平台提供API给服务端，设备端只需要按照固定的格式回复PUB消息，服务端通过API，即可同步获取设备端的响应结果。服务端通过云端API发起...
钉邮绑定和通讯录同步
方式2、钉钉管理后台直接开启通讯录同步完成同步 重要 1）钉钉企业已经和邮箱域绑定后，邮箱管理后台就不会有升级钉邮的入口；2）请使用钉钉主管理员账号扫码。1.进入钉钉管理后台——企业邮箱，开启通讯录同步；2.主管理员通过移动端钉钉...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
应用场景
下文先以用户注册为场景说明 云消息队列 RocketMQ 版 如何实现以下功能：异步解耦 分布式事务的数据一致性 消息的顺序收发 最后，再以电商的秒杀场景和价格同步场景分别说明 云消息队列 RocketMQ 版 所实现的削峰填谷和大规模机器的缓存...
创建类似任务
数据校验配置 当前仅支持修改 数据校验方式 和校验对象，更多信息请参见 什么是数据校验。高级配置 请根据实际情况进行配置。更多信息，请参见 同步方案概览 或 迁移方案概览 中的相关配置文档。保存任务并进行预检查。若您需要查看调用API...
设置一个EIAM应用的账户同步功能配置
scim2：SCIM 协议同步方式。idaas_callback CallbackProvisioningConfig object 否 应用事件回调同步配置，当 ProvisionProtocolType 为 idaas_callback 时，必须填写。CallbackUrl string 否 应用接收 IDaaS 事件回调的目标地址。...
使用Topic通信
本文仅介绍部分基于Topic的通信方式，更多通信方式请参见 物联网平台通信方式概述。服务器接收设备数据 设备上报数据，需要相应Topic的 发布 权限。设备上报 物模型数据，需要按照指定的Topic和格式，请参见 设备属性、事件、服务。使用...
RDS实例数据复制方式非异步同步
异步数据复制方式容易引起主备节点数据不一致，建议使用半同步或强同步方式。应用场景 异步复制的RDS实例数据性能好，但可能会出现数据不一致的情况。同步复制的RDS实例数据可以保证主实例和备实例的数据一致性，同时也可以实现高可用性和...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
迁移或同步指定时间段内的数据
如果您想要将源HBase集群或源Lindorm实例中某个时间段的历史数据迁移至新的Lindorm实例，或想要同步实时数据到新Lindorm实例，可以在创建任务时添加相关时间参数，修改任务配置。本文介绍通过LTS控制台创建任务时配置迁移或同步时间范围的...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
下载和导入同步对象配置
数据传输支持下载数据同步项目的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。下载对象配置 新建数据同步项目后，您可以下载同步对象的配置信息。...
增量同步性能白皮书
} } 测试方案 使用Tunnel进行数据同步时，在单Channel间是串行同步（串行是为了保障用户数据的有序性），不同Channel间是相互并行的。在增量场景下，Channel数和表的分区数是相等的。由于Tunnel的整体性能和表的分区数有很大的关联性，所以...
一键克隆RDS MySQL至PolarDB MySQL版
本章节介绍了一键克隆RDS MySQL至 PolarDB MySQL版 的方案简介、两种克隆方式及其优势和对比、克隆前提条件、使用限制、收费规则等。注意事项 通过一键克隆方式迁移到 PolarDB 集群，源RDS实例的增量数据不会同步到 PolarDB 集群。说明 ...
设置增量同步位点
适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步项目前，已确保源端和目标端的数据是一致的，需要获取某个时间节点之后的增量数据并同步至目标端。您不再需要源端数据库的历史数据，仅需同步某个时间...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
MySQL实例间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
Binlog Parallel Flush
这个过程是串行的，即一个事务写完后，另一个事务才能开始写Binlog，如上图所示。同时，这个过程又是很耗时的，写Binlog之前要将Binlog Cache中存储的所有event都解析出来，填上Checksum和log_pos，还需要生成GTID event，随后才能将这些...
HSF概述
HSF为用户屏蔽了分布式领域中的各种复杂技术细节，如远程通讯、序列化实现、性能损耗、同步与异步调用方式的实现等。HSF架构 HSF作为一个纯客户端架构的RPC框架，没有服务端集群，所有HSF服务调用均是通过服务消费方（Consumer）与服务提供...
HSF概述
HSF为用户屏蔽了分布式领域中的各种复杂技术细节，如远程通讯、序列化实现、性能损耗、同步与异步调用方式的实现等。HSF架构 HSF作为一个纯客户端架构的RPC框架，没有服务端集群，所有HSF服务调用均是通过服务消费方（Consumer）与服务提供...
数据同步概述
具体使用流程如下所示：常见同步方案 常见数据源同步数据至Hologres的同步方式支持情况如下表所示，您可以根据业务情况选择合适的同步方式。常见数据源 Hologres内置同步方案 DataWorks数据集成方式同步数据 Flink方式同步数据 MaxCompute ...
配置DataHub输出
在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线（_）以及英文句号（.），且不能超过128个字符。单击 确认。在实时同步节点的编辑...
功能特性
什么是全球多活数据库集群 同步拓扑管理 支持对同步任务的同步拓扑进行升级，将单向同步任务升级为双向同步任务，以满足不断发展的业务需求。单向同步升级至双向同步 冲突策略管理 冲突检测 支持对INSERT导致的唯一性冲突、UPDATE更新的...
配置Kafka输入
在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线（_）以及英文句号（.），且不能超过128个字符。单击 确认。在实时同步节点的编辑...
- 产品推荐
- 这些文档可能帮助您