概述
阿里云物联网平台提供的RRPC功能，是基于MQTT协议的一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。本文介绍通过配置C Link SDK，实现设备端接收同步消息，并处理和应答下发对设备的控制指令。前提条件 已准备开发环境。已...
物联网平台通信方式概述
您的设备和服务器接入阿里云物联网平台后，可通过物联网平台实现设备与服务器、设备与设备间的通信。本文介绍设备、物联网平台、服务器间通信的方法。背景信息 设备通过消息Topic实现消息的发送和接收，消息通信Topic的定义、使用和分类...
RRPC能力
物联网平台基于MQTT协议制定了一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。物联网平台提供API给服务端，设备端只需要按照固定的格式回复PUB消息，服务端通过API，即可同步获取设备端的响应结果。服务端通过云端API发起...
通信消息相关问题
本文介绍设备与物联网平台和物联网平台与服务器端的通信相关问题和解决方法。类目 问题 上下行消息 设备重复收到消息，如何去重？设备使用MQTT协议接入物联网平台后，接收不到通信数据，怎么办？物联网平台发送消息比较慢，存在超时情况，...
并行元数据锁同步
PolarDB 支持并行元数据锁同步（Async Metadata Lock Replication）功能，用于提高DDL操作的执行效率。本文介绍如何使用并行元数据锁同步功能。前提条件 对于 PolarDB MySQL版 5.6和5.7版本的集群，所有Revision version都支持该功能。对于...
使用云边通信Raven组件
在 ACK Edge集群 中，跨网络域通信组件Raven提供了基础的多地域网络通信能力，以实现云边运维能力。您可以配置Raven组件，选择云边通信模式（代理模式、隧道模式），也可以增删访问控制白名单条目，放行边缘网关节点以使其与云上构建隧道。...
基于AnalyticDB构建企业数仓
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
5.6/5.7/8.0版功能对比
MySQL 5.6 不同功能大类的产品系列支持情况如下：数据迁移 功能 集群版 数据迁移 ✔️ 数据同步 功能 集群版 数据同步 ✔️ 集群管理 功能 集群版 购买按量付费集群 和 购买包年包月集群 ✔️ 释放集群 ✔️ 克隆集群 ✔️ 开启Binlog ✔️...
准备数据
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...
SDK同步与异步通信模式
本文介绍SDK同步与异步通信模式。同步通信模式 大多数嵌入式平台移植C Link SDK使用同步底层通信模型，能够支持C Link SDK以轮询方式主动收取网络报文。例如嵌入式Linux、Windows系统，以及大部分配备LwIP协议栈通信的RTOS（FreeRTOS系统）...
8.0.1和8.0.2版功能对比
PolarDB for MySQL 8.0.1版和8.0.2版在功能上存在一些差异，包括Warm Buffer Pool、Hash Join、弹性并行查询、执行器增强、优化器增强、分区表、多主集群（库表）、Blink Tree等方面的差异。本文介绍这两个版本的功能区别，以便您基于业务...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
验证分析型查询请求能力
在OceanBase 中，每个节点都可以独立地执行任务，并且可以通过高速的网络互相通信，实现数据的交互和同步。PARALLEL Hint 语法介绍 MySQL 客户端-c、hint 不会影响业务，不会报错 PARALLEL Hint 是语句级的 Hint，用来指示优化器指定并行...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
什么是云云对接（原泛化协议）SDK
说明 下行通信不支持同步方式，包括同步服务调用和RRPC通信。进阶功能：基于接口的动态配置管理能力。已封装属性、事件、标签数据上报接口；属性、事件批量上报接口；属性设置接口；服务调用接口。名词解释 名词 描述 设备 真实物联网场景...
领域模型概述
同步RPC调用模型 同步RPC调用模型下，不同系统之间直接进行调用通信，每个请求直接从调用方发送到被调用方，然后要求被调用方立即返回响应结果给调用方，以确定本次调用结果是否成功。重要 此处的同步并不代表RPC的编程接口方式，RPC也可以...
概述
从数据同步方面来看，构建过程往往是由全量快照读取+增量同步两条并行的同步链路共同完成的。先建列存索引，再导入数据，这个场景下只有增量数据同步，Columnar节点会同时消费Binlog数据构建索引；先导入部分数据，再建列存索引，继续导...
自适应扫描
自适应扫描线程通过poll的方式在需要时同步轮询PX Worker进程的请求和响应。扫描任务协调。PX Worker进程在执行顺序扫描算子时，会首先向QC进程发起询问请求，并将以下信息发送给QC端的自适应扫描线程。扫描任务的编号。扫描动作（正向/...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
LogHub（SLS）实时ETL同步至Hologres
单击右上角的 高级参数配置，对同步任务运行时并行度和资源配置，您可以根据Logstore数据流量和分区数量确定对应配置项取值，建议可以按照如下简单规则进行配置：读端并发数=Logstore分区数 写端并发数=Logstore分区数 内存（GB）=1.5G+...
仓库同步
如果三方数据有变更，会直接使用三方库内容覆盖当前库内容，包括提交的历史和评论信息等数据，请在合适的场景下使用仓库同步，此功能不适合新旧平台同时提交并行开发的情况。同步操作需要一定时间，请等待同步完成。仓库同步过程中将不支持...
配置ECI Pod在ClusterIP同步后再创建
由于ECI Pod和负责同步Service的组件是并行启动运行的，当集群中存在大量Service和Endpoint时，可能会出现因ClusterIp未同步而导致Pod访问超时的情况。本文介绍如何配置ECI Pod在ClusterIP同步后再创建，确保Pod中的容器在访问Service时，...
Kafka单表实时入湖OSS（HUDI）
单击页面右上角的 高级参数配置，对同步任务运行时的并行度和资源进行配置，您可以根据Kafka Topic数据流量和分区数量确定对应配置项的取值，建议按照如下规则进行配置：读端并发数=Kafka Topic分区数 写端并发数=Kafka Topic分区数 内存=1...
Kafka实时ETL同步至Hologres
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。本文为您介绍如何创建Kafka实时ETL同步至Hologres任务。使用...
AI加速概述
TorchAcc（模型训练加速框架）支持数据并行训练，优化计算和通信overlap，提升分布式训练效果。支持AMP训练加速。支持自动显存优化等。EPL（大规模分布式训练框架）支持数据并行，算子拆分流水并行。支持自动并行策略，得到最优分布式训练...
灵骏常见问题
智能计算灵骏集群采用专为大规模AI计算场景所设计的系统架构和多层性能优化技术，能充分利用整体的计算、通信和内存能力。在并行度极高的大规模计算场景，比如自然语言处理、自动驾驶模型训练、推荐引擎等，相比普通GPU托管服务可以减少...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
使用DataWorks
concurrent：设置离线同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。更多配置参数详情请参见 编辑脚本，配置同步任务。配置调度属性。详情请参见 调度参数支持的格式。在顶部菜单栏，单击 图标后，单击 图标，运行离线...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版 的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.17及以上）说明 您可通过如下语句查看 PolarDB ...
离线同步并发和限流之间的关系
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
MySQL整库离线同步到OSS
数据源维度，同一数据源，同时运行的离线任务并发度不允许超过此值 离线同步任务并发度 并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。并发数大，同步任务速率高，但相对也会消耗更多的资源组槽位...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至DataHub。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至MaxCompute。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Hologres。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至 AnalyticDB for MySQL。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Kafka。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
2020年
本文为您提供 PAI 产品在2020年的重要功能发布信息。PAI 的重要功能发布...2020年12月22日 无 Whale分布式深度学习框架 Whale可以帮助您便捷地进行分布式并行训练，支持各种并行策略混合训练，同时提供多种通信优化方法。2020年12月14日 无
PolarDB并行查询
两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel Hash join也有自身的问题，例如：共享Hash Table过大导致spill to disk问题，并行插入虽然无锁，但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
- 产品推荐
- 这些文档可能帮助您