什么是AI通信加速库Deepnccl
而采用基于TCP/IP的多流功能，提升分布式训练的并发通信能力，可以实现多机训练性能提升5%~20%。多机CPU-Reduce：该优化继承了单机内CPU-Reduce高效的异步流水线，并将跨机Socket通信也设计为流水线形态，实现多机通信全过程流水化，有效...
共享内存通信（SMC）使用说明
协商和数据传输流如下图所示：基于RDMA的共享内存通信 完成协议协商并建立连接后，协议栈为SMC-R socket分配一块用于缓存待发送数据的环形缓冲区sndbuf和一块用于缓存待接收数据的环形缓冲区RMB（Remote Memory Buffer）。发送端应用程序...
共享内存通信（SMC）使用说明
协商和数据传输流如下图所示：基于RDMA的共享内存通信 完成协议协商并建立连接后，协议栈为SMC-R socket分配一块用于缓存待发送数据的环形缓冲区sndbuf和一块用于缓存待接收数据的环形缓冲区RMB（Remote Memory Buffer）。发送端应用程序...
什么是Deepytorch Training（训练加速）
而采用基于TCP/IP的多流功能，提升分布式训练的并发通信能力，可以实现多机训练性能提升5%~20%。多机CPU-Reduce：该优化继承了单机内CPU-Reduce高效的异步流水线，并将跨机Socket通信也设计为流水线形态，实现多机通信全过程流水化，有效...
eRDMA
应用场景 传统的TCP/IP一直是业界主流的网络通信协议，众多应用都是基于TCP/IP构建的，但随着数据中心相关的业务蓬勃发展，应用对于网络的性能需求（如延迟、吞吐）越来越高，受限于TCP/IP的局限性（如拷贝开销大、协议栈处理厚、CC算法...
MCU+支持TCP的模组
应用场景：设备的硬件由一个MCU加上一个通信模组构成，设备的应用逻辑运行在MCU上，模组上支持了TCP但是并不支持MQTT，MCU通过模组提供的AT指令来控制模组何时连接云端服务以及收发数据。说明 本示例中：示例app+SDK+TCP模组驱动一起消耗...
负载说明
DBGateway按照TCP/IP协议解析抓取的网络数据包，过滤其他端口的数据包，只对流入MySQL端口的数据包进行分析。流入MySQL端口的数据包按照MySQL通讯协议拼成完整的SQL。DBGateway将多条SQL打包压缩后，加密上传到DAS的存储集群中。负载说明 ...
典型应用
1434 SQL Server SQL Server的UDP端口，用于返回SQL Server使用了哪个TCP/IP端口。1521 Oracle Oracle通信端口，ECS实例上部署了Oracle SQL需要放行的端口。3306 MySQL MySQL数据库对外提供服务的端口。3389 Windows Server Remote Desktop...
eRDMA概述
应用场景 传统的TCP/IP一直是业界主流的网络通信协议，众多应用都是基于TCP/IP构建的，但随着数据中心相关的业务蓬勃发展，应用对于网络的性能需求（如延迟、吞吐）越来越高，受限于TCP/IP的局限性（如拷贝开销大、协议栈处理厚、CC算法...
SDK同步与异步通信模式
异步通信模式 有的TCP/IP协议栈不提供同步方式的数据接收接口，例如Nucleus操作系统。有的用户认为同步方式效率不高，希望设备收到数据时可以主动将数据发送给SDK，可以使用SDK的异步通信模式。异步通信模式与同步通信模式的最大区别在于，...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
共享内存通信（SMC）常见问题
如果您在Alibaba Cloud Linux 3系统中启用了共享内存通信SMC（Shared Memory Communication），且使用过程中遇到无法正常通信、部分端口不可用、对比TCP没有应用性能提升等问题，可以参考本文提供的方案进行排查并解决。启用SMC后应用性能...
基本概念
它是在传输通信协议（TCP/IP）上实现的一种安全协议，采用公开密钥技术为TCP/IP连接提供数据加密、服务器认证、消息完整性以及可选的客户机认证。SSL证书采用公钥体制，即利用一对互相匹配的密钥对进行数据加密和解密。每个用户自己设定一...
HAL说明
HAL_TCP_Write 否 在指定时间内，向TCP连接发送流数据，并返回发送的字节数。HAL_Random 否 随机数函数，接受一个无符号数作为范围，返回0到该数值范围内的随机无符号数。HAL_Srandom 否 随机数播种函数，使 HAL_Random 的返回值每个执行...
网络最大传输单元MTU
因此，为了保证数据包正常通信，MSS加上TCP标头（20字节）和IP标头（对于IPv4是20字节，对于IPv6是40字节），必须小于或等于网络链路的最大MTU限制。对于MSS值与链路MTU不匹配时，阿里云网络转发组件会修改MSS值，从而降低同步序列编号SYN...
CREATE STREAM
创建一张数据流表，表示一个无界的事件集合。数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With...
名词解释
RTMP是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。TS TS的全称则是Transport Stream，TS流文件，是一种DVD的文件格式，MPEG2-TS格式的特点就是要求从...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
使用ACK Net Exporter定位网络问题
type=PACKETLOSS pod=hostNetwork namespace=hostNetwork protocol=TCP saddr=10.1.17.172 sport=6443 daddr=10.1.17.176 dport=43018 stacktrace:skb_release_data+0xA3_kfree_skb+0xE tcp_recvmsg+0x61D inet_recvmsg+0x58 sock_read_...
网络FAQ
例如，在进行单流TCP带宽测试时，如果接收任务（例如netserver进程）和网卡接收队列中断绑定在同一个vCPU上，网卡收到数据帧后会触发中断打断接收任务，频繁打断接收任务会导致测试结果不符合预期。针对这种情况，您可以将接收任务和网卡...
容器网络FAQ
ACK容器网络数据链路 ACK容器网络数据链路（Flannel）ACK容器网络数据链路（Terway ENI）ACK容器网络数据链路（Terway ENIIP）ACK容器网络数据链路（Terway IPVLAN+eBPF）ACK容器网络数据链路（Terway ENI-Trunking）其他 如何解决Pod启动...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
一键诊断
您可以使用 PAI灵骏智算服务 提供的一键诊断功能，检查灵骏节点的网络和硬件状态，基于多种通信库和通信模型进行网络测试。本文为您介绍灵骏的一键诊断功能。自助诊断 网络诊断 网络诊断功能分为 静态配置类检查 和 动态运行类检查，支持...
服务网格工作原理
培训视频 观看以下视频，快速了解服务网格工作原理：MOSN 形态现状 目前 MOSN 属于数据面的产品，以 Sidecar 的模式和应用部署在同一个 Pod 或者在虚拟机中，属于独立进程。MOSN 最早支持基于轻量 SDK+Mesh 的方式接管网格流量。目前主要...
包年包月
计费公式 在包年包月模式下，您按需选择数据流服务Confluent版本、磁盘容量等配置项完成实例购买，计费从您成功下单开始。数据流服务Confluent版本不同所产生的费用也会存在差异。计算资源：用于Broker读取数据或ksqlDB创建作业，按CU计量...
修改TCP TIME-WAIT超时时间
背景信息 TCP/IP协议的TIME-WAIT状态是指应用关闭用于通信的套接口（socket）之后，TCP/IP协议栈保持socket处于打开状态。该状态默认持续60秒，用来保证完成服务器和客户端的数据传输。当处于TIME-WAIT状态的连接数过多时，可能会影响到...
为什么监控查询流量、用量查询流量与日志统计流量有...
主要原因是网络层流量比应用层流量多了以下两个流量消耗：TCP/IP包头：应用层流量在开始网络传输之前，需要先使用TCP协议（传输层）封装为TCP数据包，再使用IP协议（网络层）封装为IP数据包，IP数据包最大为1500字节，这其中包含了20字节的...
为什么监控查询流量、用量查询流量与日志统计流量有...
主要原因是网络层流量比应用层流量多了以下两个流量消耗：TCP/IP包头：应用层流量在开始网络传输之前，需要先使用TCP协议（传输层）封装为TCP数据包，再使用IP协议（网络层）封装为IP数据包，IP数据包最大为1500字节，这其中包含了20字节的...
网络访问与安全设置
默认情况下，当您选择公网访问来配置集群后，所有公网IP均能访问流数据服务Confluent集群，您可以使用 云防火墙 设置对流数据服务Confluent集群公网域名的访问策略。注意 当您使用云防火墙时，务必设置正确的访问策略来确保流数据服务...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
用户管理
作为集群安全的一部分，数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入...
产品架构
物联网平台支持与接入设备进行通信，可将设备通信数据流转到其他阿里云产品中进行存储和处理，是构建物联网应用的基础。本文介绍物联网平台的产品架构。设备 通过物联网平台集成开发的协议和SDK，实现设备上云管理。IP设备：指支持TCP/IP...
新建 MySQL 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
ACL授权
ACL授权主要有两种方式：使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一授权方式。使用Confluent CLI实现ACL授权。操作指引请参见 使用Confluent CLI进行ACL管理。管控侧ACL授权步骤 首先登录 流数据服务Confluent管控页，...
新建 Oracle 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
数据质量：全流程的质量监控
数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，...
产品简介
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
QlikView（2.0版）
TCP/IP Server 分析型数据库MySQL版的连接地址。Port 连接地址对应的端口号。User AccessKey ID。Password Access Key Secret。Database 分析型数据库MySQL版的名字。完成上述参数配置后，单击 Test 测试连通性，测试通过后，单击 OK 添加...
INSERT INTO
数据流表支持写入新的数据行，本文介绍通过DML语句将值插入流表中。语法 INSERT INTO[catalog_name.][db_name.]stream_name VALUES values_row[,values_row.]values_row:(val1[,val2,.])参数说明 参数 是否必选 说明 catalog_name 否 目标...
- 产品推荐
- 这些文档可能帮助您