产品架构

2.云消息队列 Kafka 版 的发布/订阅模型 Group 和Topic的对应关系是N:N,即一个 Group 可以同时订阅多个Topic,一个Topic也可以被多个 Group 同时订阅。虽然一个Topic可以被多个 Group 同时订阅,但该Topic的消息只能被同一个 Group 内...

MQTT与RocketMQ的消息结构映射

如上所示,在 云消息队列 MQTT 版 中Topic是多级结构,而 云消息队列 RocketMQ 版 的Topic仅有一级,因此,云消息队列 MQTT 版 中的一级Topic映射到 云消息队列 RocketMQ 版 的Topic,而子级Topic,包括二级、三级、n级Topic则映射到 云...

迁移数据上云

如下所示,Mirror Maker使用一个内置的Consumer从源自建Kafka集群消费消息,然后再使用一个内置的Producer将这些消息重新发送到目标 云消息队列 Kafka 版 集群。更多信息,请参见 Apache Kafka MirrorMaker。注意事项 Topic名称必须一致...

生产者负载均衡

生产者发送消息到 云消息队列 RocketMQ 版 服务端时,云消息队列 RocketMQ 版 将根据生产者负载均衡策略将消息均匀的存储在多个队列中,避免产生热点队列和性能瓶颈。本文介绍 云消息队列 RocketMQ 版 生产者的负载均衡策略。背景信息 了解...

消费者负载均衡

如上所示,主题中的三个队列Queue1、Queue2、Queue3被分配给消费者分组中的两个消费者,每个队列只能分配给一个消费者消费,该示例中由于队列数大于消费者数,因此,消费者A2被分配了两个队列。若队列数小于消费者数量,可能会出现部分...

V2.x.x到V3.x.x的升级公告

升级概览 云消息队列 MQTT 版 从V2.x.x升级至V3.x.x后,使用流程有所差异,如下所示。升级说明 云消息队列 MQTT 版 的V3.x.x版本相比V2.x.x版本而言,实现了自身的消息独立存储,再也无需强制绑定 云消息队列 RocketMQ 版,因此购买开通 ...

MQTT快速入门

作为使用和熟悉产品功能的入门指导,本文提供如何快速使用 云消息队列 MQTT 版 通过默认支持的MQTT协议收发消息的步骤。对于非MQTT协议的接入,例如新能源,您必须首先购买 云消息队列 MQTT 版 企业铂金版,并通过专属通道享受对应的文档和...

使用Canal和RocketMQ实现数据库变更订阅处理

canal-deployer(server):如上所示,Canal将自己伪装成库,监听并接收数据库的Binlog,再同步到 云消息队列 RocketMQ 版 等存储或其他中间件系统。canal-adapter(client):不是一个必选的组件,它从deployer中获取数据并转发。与Server...

使用Canal和RocketMQ实现数据库变更订阅处理

canal-deployer(server):如上所示,Canal将自己伪装成库,监听并接收数据库的Binlog,再同步到 云消息队列 RocketMQ 版 等存储或其他中间件系统。canal-adapter(client):不是一个必选的组件,它从deployer中获取数据并转发。与Server...

音视频通信解决方案(MQTT)

音视频通信解决方案是由阿里云 云消息队列 MQTT 版 和音视频通信RTC联合推出的有助于快速搭建各种实时通信场景产品,譬如在线音视频会议、1对1语音通话应用的解决方案。本文将详细描述该解决方案的系统架构、数据流设计以及相关注意事项。...

部署异步推理服务

如果您的服务需要输入文本、输出图片,并期望在输出队列存放更多数据,则可以将queue.sink.memory_ratio相应提高;相反,如果您期望输入图片、输出文本,则可以将queue.sink.memory_ratio相应减小。配置水平自动扩缩容 异步推理服务水平...

应用场景

本文为您介绍 云消息队列 RocketMQ 版 的应用场景,以便您更好地判断如何在业务中使用 云消息队列 RocketMQ 版。例如,针对一家互联网电商企业,其业务涉及广泛,如注册、订单、库存、物流等;同时,也会涉及许多业务峰值时刻,如秒杀活动...

云存储网关利用MQTT服务实现统一管控

同时基于 云消息队列 MQTT 版 的推送功能也实现了输出API用于对每个CSG实例的管理。整体架构如 方案架构 所示。 2.方案架构 方案优势 本方案的优势如下所述:服务能力强,可弹性伸缩。云消息队列 MQTT 版 消息传输能力无限扩展,CSG实例...

仪表盘

如下所示,表示指定主题的某一队列中各消息的状态:上表示指定主题的某一队列中各消息的状态,云消息队列 RocketMQ 版 将处于不同处理阶段的消息数量和耗时进行统计,这些指标可直接反映队列中消息的处理速率和堆积情况,通过观察这些...

访问队列服务

使用以下代码根据Request ID(0337f7a1-a6f6-49a6-8ad7-ff2fd12b*)从输出队列中查询数据。curl-v-H 'Authorization:YmE3NDkyMzdiMzNmMGM3ZmE4ZmNjZDk0M2NiMDA3OTZmNzc1MT*=' http://182848887922*....

消息负载均衡策略

背景信息 随着SDK版本的升级,云消息队列 RocketMQ 版 的负载均衡策略也有所优化,根据SDK版本,负载均衡策略可分为:负载均衡策略(客户端Java v2.x.x.Final和C++ v3.x.x)负载均衡策略(客户端Java v1.x.x.Final和C++ v1.x.x/v2.x.x)...

在Knative上实现Kafka消息推送

适用场景 在线短任务处理 AI音视频消息处理 监控告警 数据格式转换 操作流程 在Knative上实现 云消息队列 Kafka 版 消息推送的操作流程如下所示。部署Kafka组件 登录 容器服务控制台。在左侧导航栏,单击 集群。在 集群列表 页面,单击要...

顺序消息

在 云消息队列 RocketMQ 版 中,消息的顺序需要由以下三个阶段保证:消息发送 如上所示,A1、B1、A2、A3、B2、B3是订单A和订单B的消息产生的顺序,业务上要求同一订单的消息保持顺序,例如订单A的消息发送和消费都按照A1、A2、A3的顺序。...

订阅者最佳实践

消费消息基本流程 云消息队列 Kafka 版 订阅者在订阅消息时的基本流程为:Poll数据→执行消费逻辑→再次Poll数据,详情参见下。负载均衡 每个 Group 可以包含多个消费实例,即可以启动多个 云消息队列 Kafka 版 Consumer,并把参数 group...

查看消费者状态

结合图23,查看该Topic中消息堆积量和消息生产消费速率的变化趋势,缩小异常出现的时间范围。判断该时间范围内是否有进行后端操作或网络出现异常等原因。相关文档 除了控制台,云消息队列 RocketMQ 版 还支持通过API接口查询Group的...

MQTT和RocketMQ进行数据互通(跨产品数据流出)

如果您的云端应用需要使用 云消息队列 RocketMQ 版 产品的某些功能,例如顺序消息特性、事务消息特性等,您可以通过消息流入或流出规则将 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 数据进行流转。本文介绍如何将 云消息队列 MQTT 版 ...

顺序消息

如上所示,消息组1和消息组4的消息混合存储在队列1中,云消息队列 RocketMQ 版 保证消息组1中的消息G1-M1、G1-M2、G1-M3是按发送顺序存储,且消息组4的消息G4-M1、G4-M2也是按顺序存储,但消息组1和消息组4中的消息不涉及顺序关系。...

MQTT和RocketMQ进行数据互通(客户端上下线通知)

云消息队列 MQTT 版 与 云消息队列 RocketMQ 版 的应用场景对比和消息属性映射关系请参见以下文档:MQTT与Rocket的应用场景对比 MQTT与Rocket的消息结构映射 使用流程 MQTT客户端上下线通知的消息收发流程如下所示。前提条件 安装 IDE。...

在线教育视频直播

部署架构 选用的产品 云消息队列 RocketMQ 版 云消息队列 RocketMQ 版 是由阿里巴巴自研并捐赠给Apache基金会,并与开源社区共建的消息中间件,该产品服务于阿里巴巴集团已超过13年,经过交易核心链路反复打磨与历年双十一高并发场景的...

快速使用MQTT.fx模拟SDK收发消息

如下所示,您可以使用MQTT.fx作为MQTT客户端,在MQTT.fx客户端配置相关参数后接入 云消息队列 MQTT 版 实现消息的发送和接收。云消息队列 MQTT 版 同时提供了 公网接入点 和 VPC 接入点。在物联网和移动互联网的场景中,客户端推荐使用 ...

创建Tablestore Sink Connector

本文介绍如何创建使用Tablestore Sink Connector,您可通过Tablestore Sink Connector将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至Tablestore的表中。前提条件 创建资源及授权策略,请参见 创建前提。创建Connector时生成的函数...

事务消息

事务消息为 云消息队列 RocketMQ 版 中的高级特性消息,本文为您介绍事务消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 分布式事务的诉求 分布式系统调用的特点为一个核心业务逻辑的执行,同时需要调用多个下游业务...

消息重试

云消息队列 RocketMQ 版 支持消息重试功能,即Consumer消费某条消息失败或消费超时,云消息队列 RocketMQ 版 会根据消息重试机制重新投递消息。本文介绍 云消息队列 RocketMQ 版 分别在HTTP协议和TCP协议下的消息重试策略。注意事项 一条...

收发事务消息

目前支持的地域包括公网、华东1(杭州)、华北2(北京)、华东2(上海)、华南1(深圳)。云消息队列 RocketMQ 版 提供类似XA或Open XA的分布式事务功能,通过 云消息队列 RocketMQ 版 事务消息,能达到分布式事务的最终一致。交互流程 ...

订阅关系(Subscription)

本文介绍 云消息队列 RocketMQ 版 中订阅关系(Subscription)的定义、模型关系、内部属性及使用建议。定义 订阅关系是 云消息队列 RocketMQ 版 系统中消费者获取消息、处理消息的规则和状态配置。订阅关系由消费者分组动态注册到服务端...

连接查询

如需了解 云消息队列 MQTT 版 客户端的连接情况,您可以指定Topic、Group ID以及Client ID查询客户端的当前在线数、在指定时间段内的在线数以及连接信息和订阅关系。按Topic查询 您可以指定Topic查询客户端的当前在线数。登录 云消息队列 ...

迁移上云操作

迁移操作流程 开源RocketMQ集群迁移到 云消息队列 RocketMQ 版 的操作流程如下所示:步骤一:迁移评估 根据自建开源RocketMQ的版本、功能使用情况评估迁移上云的风险和兼容性,确认迁移任务的目标和范围。步骤二:配置网络信息 录入自建...

环境准备(v1.x.x)

本文为您介绍使用C++ SDK接入 云消息队列 RocketMQ 版 所需完成的准备工作、使用说明以及注意事项,以便后续使用C++ SDK收发消息。重要 推荐您使用最新的RocketMQ 5.x系列SDK,5.x系列SDK作为主力研发版本,和 云消息队列 RocketMQ 版 5.x...

将云消息队列 Kafka 版接入阿里云Elasticsearch

背景信息 通过阿里云Logstash将数据从 云消息队列 Kafka 版 导入阿里云Elasticsearch的过程如下所示。云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志...

环境准备(v1.x.x)

本文为您介绍使用v1.x.x版本的C++ SDK接入 云消息队列 RocketMQ 版 所需完成的准备工作、使用说明以及注意事项,以便后续使用C++ SDK收发消息。使用前,请注意以下几点:本文仅针对C++ SDK v1.x.x版本进行说明,若需使用v2.0.0版本的SDK,...

接口和参数说明

消息订阅接口 1.Push方式接口 2.Pull方式接口 Pull方式的接口说明如下所示。public interface PullConsumer extends Admin {/*获取某个Topic下的分区信息,返回结果是该Topic下的所有分区。注意该接口必须在Pull Consumer Start以后...

收发事务消息

交互流程 事务消息交互流程如下所示。更多信息,请参见 事务消息。前提条件 您已完成以下操作:下载C/C++ SDK。更多信息,请参见 版本说明。准备环境。请根据您使用的SDK版本做好环境准备工作:环境准备(v2.x.x)环境准备(v1.x.x)创建...

仪表盘

消息堆积场景 如下所示,表示指定主题的某一队列中各消息的状态:上表示指定主题的某一队列中各消息的状态,云消息队列 RocketMQ 版 将处于不同处理阶段的消息数量和耗时进行统计,这些指标可直接反映队列中消息的处理速率和堆积情况,...

标签管理

标签可以识别资源,您可以将作用相同的 云消息队列 RocketMQ 版 的资源通过标签进行归类,便于搜索和资源聚合。云消息队列 RocketMQ 版 支持为实例、Topic和Group添加标签,并支持修改和删除标签。本文介绍标签的应用场景、使用说明、使用...

作为Output接入

云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 Kafka 版 云消息队列 RocketMQ 版 全局事务服务 (文档停止维护) 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用