图 2.云消息队列 Kafka 版 的发布/订阅模型 Group 和Topic的对应关系是N:N,即一个 Group 可以同时订阅多个Topic,一个Topic也可以被多个 Group 同时订阅。虽然一个Topic可以被多个 Group 同时订阅,但该Topic的消息只能被同一个 Group 内...
如上图所示,在 云消息队列 MQTT 版 中Topic是多级结构,而 云消息队列 RocketMQ 版 的Topic仅有一级,因此,云消息队列 MQTT 版 中的一级Topic映射到 云消息队列 RocketMQ 版 的Topic,而子级Topic,包括二级、三级、n级Topic则映射到 云...
如下图所示,Mirror Maker使用一个内置的Consumer从源自建Kafka集群消费消息,然后再使用一个内置的Producer将这些消息重新发送到目标 云消息队列 Kafka 版 集群。更多信息,请参见 Apache Kafka MirrorMaker。注意事项 Topic名称必须一致...
生产者发送消息到 云消息队列 RocketMQ 版 服务端时,云消息队列 RocketMQ 版 将根据生产者负载均衡策略将消息均匀的存储在多个队列中,避免产生热点队列和性能瓶颈。本文介绍 云消息队列 RocketMQ 版 生产者的负载均衡策略。背景信息 了解...
如上图所示,主题中的三个队列Queue1、Queue2、Queue3被分配给消费者分组中的两个消费者,每个队列只能分配给一个消费者消费,该示例中由于队列数大于消费者数,因此,消费者A2被分配了两个队列。若队列数小于消费者数量,可能会出现部分...
升级概览 云消息队列 MQTT 版 从V2.x.x升级至V3.x.x后,使用流程有所差异,如下图所示。升级说明 云消息队列 MQTT 版 的V3.x.x版本相比V2.x.x版本而言,实现了自身的消息独立存储,再也无需强制绑定 云消息队列 RocketMQ 版,因此购买开通 ...
作为使用和熟悉产品功能的入门指导,本文提供如何快速使用 云消息队列 MQTT 版 通过默认支持的MQTT协议收发消息的步骤。对于非MQTT协议的接入,例如新能源,您必须首先购买 云消息队列 MQTT 版 企业铂金版,并通过专属通道享受对应的文档和...
canal-deployer(server):如上图所示,Canal将自己伪装成库,监听并接收数据库的Binlog,再同步到 云消息队列 RocketMQ 版 等存储或其他中间件系统。canal-adapter(client):不是一个必选的组件,它从deployer中获取数据并转发。与Server...
canal-deployer(server):如上图所示,Canal将自己伪装成库,监听并接收数据库的Binlog,再同步到 云消息队列 RocketMQ 版 等存储或其他中间件系统。canal-adapter(client):不是一个必选的组件,它从deployer中获取数据并转发。与Server...
音视频通信解决方案是由阿里云 云消息队列 MQTT 版 和音视频通信RTC联合推出的有助于快速搭建各种实时通信场景产品,譬如在线音视频会议、1对1语音通话应用的解决方案。本文将详细描述该解决方案的系统架构、数据流设计以及相关注意事项。...
如果您的服务需要输入文本、输出图片,并期望在输出队列存放更多数据,则可以将queue.sink.memory_ratio相应提高;相反,如果您期望输入图片、输出文本,则可以将queue.sink.memory_ratio相应减小。配置水平自动扩缩容 异步推理服务水平...
本文为您介绍 云消息队列 RocketMQ 版 的应用场景,以便您更好地判断如何在业务中使用 云消息队列 RocketMQ 版。例如,针对一家互联网电商企业,其业务涉及广泛,如注册、订单、库存、物流等;同时,也会涉及许多业务峰值时刻,如秒杀活动...
同时基于 云消息队列 MQTT 版 的推送功能也实现了输出API用于对每个CSG实例的管理。整体架构如 方案架构 所示。图 2.方案架构 方案优势 本方案的优势如下所述:服务能力强,可弹性伸缩。云消息队列 MQTT 版 消息传输能力无限扩展,CSG实例...
如下图所示,表示指定主题的某一队列中各消息的状态:上图表示指定主题的某一队列中各消息的状态,云消息队列 RocketMQ 版 将处于不同处理阶段的消息数量和耗时进行统计,这些指标可直接反映队列中消息的处理速率和堆积情况,通过观察这些...
使用以下代码根据Request ID(0337f7a1-a6f6-49a6-8ad7-ff2fd12b*)从输出队列中查询数据。curl-v-H 'Authorization:YmE3NDkyMzdiMzNmMGM3ZmE4ZmNjZDk0M2NiMDA3OTZmNzc1MT*=' http://182848887922*....
背景信息 随着SDK版本的升级,云消息队列 RocketMQ 版 的负载均衡策略也有所优化,根据SDK版本,负载均衡策略可分为:负载均衡策略(客户端Java v2.x.x.Final和C++ v3.x.x)负载均衡策略(客户端Java v1.x.x.Final和C++ v1.x.x/v2.x.x)...
适用场景 在线短任务处理 AI音视频消息处理 监控告警 数据格式转换 操作流程 在Knative上实现 云消息队列 Kafka 版 消息推送的操作流程如下图所示。部署Kafka组件 登录 容器服务控制台。在左侧导航栏,单击 集群。在 集群列表 页面,单击要...
在 云消息队列 RocketMQ 版 中,消息的顺序需要由以下三个阶段保证:消息发送 如上图所示,A1、B1、A2、A3、B2、B3是订单A和订单B的消息产生的顺序,业务上要求同一订单的消息保持顺序,例如订单A的消息发送和消费都按照A1、A2、A3的顺序。...
消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为:Poll数据→执行消费逻辑→再次Poll数据,详情参见下图。负载均衡 每个 Group 可以包含多个消费实例,即可以启动多个 云消息队列 Kafka 版 Consumer,并把参数 group...
结合图2和图3,查看该Topic中消息堆积量和消息生产消费速率的变化趋势,缩小异常出现的时间范围。判断该时间范围内是否有进行后端操作或网络出现异常等原因。相关文档 除了控制台,云消息队列 RocketMQ 版 还支持通过API接口查询Group的...
如果您的云端应用需要使用 云消息队列 RocketMQ 版 产品的某些功能,例如顺序消息特性、事务消息特性等,您可以通过消息流入或流出规则将 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 数据进行流转。本文介绍如何将 云消息队列 MQTT 版 ...
如上图所示,消息组1和消息组4的消息混合存储在队列1中,云消息队列 RocketMQ 版 保证消息组1中的消息G1-M1、G1-M2、G1-M3是按发送顺序存储,且消息组4的消息G4-M1、G4-M2也是按顺序存储,但消息组1和消息组4中的消息不涉及顺序关系。...
云消息队列 MQTT 版 与 云消息队列 RocketMQ 版 的应用场景对比和消息属性映射关系请参见以下文档:MQTT与Rocket的应用场景对比 MQTT与Rocket的消息结构映射 使用流程 MQTT客户端上下线通知的消息收发流程如下图所示。前提条件 安装 IDE。...
部署架构图 选用的产品 云消息队列 RocketMQ 版 云消息队列 RocketMQ 版 是由阿里巴巴自研并捐赠给Apache基金会,并与开源社区共建的消息中间件,该产品服务于阿里巴巴集团已超过13年,经过交易核心链路反复打磨与历年双十一高并发场景的...
如下图所示,您可以使用MQTT.fx作为MQTT客户端,在MQTT.fx客户端配置相关参数后接入 云消息队列 MQTT 版 实现消息的发送和接收。云消息队列 MQTT 版 同时提供了 公网接入点 和 VPC 接入点。在物联网和移动互联网的场景中,客户端推荐使用 ...
本文介绍如何创建使用Tablestore Sink Connector,您可通过Tablestore Sink Connector将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至Tablestore的表中。前提条件 创建资源及授权策略,请参见 创建前提。创建Connector时生成的函数...
事务消息为 云消息队列 RocketMQ 版 中的高级特性消息,本文为您介绍事务消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 分布式事务的诉求 分布式系统调用的特点为一个核心业务逻辑的执行,同时需要调用多个下游业务...
云消息队列 RocketMQ 版 支持消息重试功能,即Consumer消费某条消息失败或消费超时,云消息队列 RocketMQ 版 会根据消息重试机制重新投递消息。本文介绍 云消息队列 RocketMQ 版 分别在HTTP协议和TCP协议下的消息重试策略。注意事项 一条...
目前支持的地域包括公网、华东1(杭州)、华北2(北京)、华东2(上海)、华南1(深圳)。云消息队列 RocketMQ 版 提供类似XA或Open XA的分布式事务功能,通过 云消息队列 RocketMQ 版 事务消息,能达到分布式事务的最终一致。交互流程 ...
本文介绍 云消息队列 RocketMQ 版 中订阅关系(Subscription)的定义、模型关系、内部属性及使用建议。定义 订阅关系是 云消息队列 RocketMQ 版 系统中消费者获取消息、处理消息的规则和状态配置。订阅关系由消费者分组动态注册到服务端...
如需了解 云消息队列 MQTT 版 客户端的连接情况,您可以指定Topic、Group ID以及Client ID查询客户端的当前在线数、在指定时间段内的在线数以及连接信息和订阅关系。按Topic查询 您可以指定Topic查询客户端的当前在线数。登录 云消息队列 ...
迁移操作流程 开源RocketMQ集群迁移到 云消息队列 RocketMQ 版 的操作流程如下图所示:步骤一:迁移评估 根据自建开源RocketMQ的版本、功能使用情况评估迁移上云的风险和兼容性,确认迁移任务的目标和范围。步骤二:配置网络信息 录入自建...
本文为您介绍使用C++ SDK接入 云消息队列 RocketMQ 版 所需完成的准备工作、使用说明以及注意事项,以便后续使用C++ SDK收发消息。重要 推荐您使用最新的RocketMQ 5.x系列SDK,5.x系列SDK作为主力研发版本,和 云消息队列 RocketMQ 版 5.x...
背景信息 通过阿里云Logstash将数据从 云消息队列 Kafka 版 导入阿里云Elasticsearch的过程如下图所示。云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志...
本文为您介绍使用v1.x.x版本的C++ SDK接入 云消息队列 RocketMQ 版 所需完成的准备工作、使用说明以及注意事项,以便后续使用C++ SDK收发消息。使用前,请注意以下几点:本文仅针对C++ SDK v1.x.x版本进行说明,若需使用v2.0.0版本的SDK,...
消息订阅接口 图 1.Push方式接口 图 2.Pull方式接口 Pull方式的接口说明如下所示。public interface PullConsumer extends Admin {/*获取某个Topic下的分区信息,返回结果是该Topic下的所有分区。注意该接口必须在Pull Consumer Start以后...
交互流程 事务消息交互流程如下图所示。更多信息,请参见 事务消息。前提条件 您已完成以下操作:下载C/C++ SDK。更多信息,请参见 版本说明。准备环境。请根据您使用的SDK版本做好环境准备工作:环境准备(v2.x.x)环境准备(v1.x.x)创建...
消息堆积场景 如下图所示,表示指定主题的某一队列中各消息的状态:上图表示指定主题的某一队列中各消息的状态,云消息队列 RocketMQ 版 将处于不同处理阶段的消息数量和耗时进行统计,这些指标可直接反映队列中消息的处理速率和堆积情况,...
标签可以识别资源,您可以将作用相同的 云消息队列 RocketMQ 版 的资源通过标签进行归类,便于搜索和资源聚合。云消息队列 RocketMQ 版 支持为实例、Topic和Group添加标签,并支持修改和删除标签。本文介绍标签的应用场景、使用说明、使用...
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...