消费者负载均衡
策略原理 队列粒度负载均衡策略中，同一消费者分组内的多个消费者将按照队列粒度消费消息，即每个队列仅被一个消费者消费。如上图所示，主题中的三个队列Queue1、Queue2、Queue3被分配给消费者分组中的两个消费者，每个队列只能分配给一个...
迁移概述
本文介绍将自建Kafka集群迁移到 云消息队列 Kafka 版 实例的优势、原理、方案架构、迁移工具和操作流程。迁移优势 将自建Kafka集群迁移到 云消息队列 Kafka 版 实例的优势，请参见 产品优势。迁移原理 对于消息队列来说，如果要实现集群...
消息堆积和延迟问题
通过了解 云消息队列 RocketMQ 版 客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或在运维过程中及时调整业务逻辑，避免因消息堆积和延迟影响业务运行。背景信息 消息处理流程中，如果客户端的消费...
获取MQTT客户端在线状态
云消息队列 MQTT 版 提供同步查询和异步上下线事件通知两种方式，来获取MQTT客户端在线状态。本文介绍这两种方式的基本原理、应用场景、具体差异以及实现方式。基本原理 云消息队列 MQTT 版 服务端（下文简称为MQTT服务端）提供以下方式...
获取MQTT客户端在线状态
基本原理 云消息队列 MQTT 版 服务器（下文简称为MQTT服务器）使用异步上下线通知方式获取客户端在线状态。该方式使用消息通知，在客户端上线和下线事件触发时，MQTT服务器会向后端存储消息队列推送一条上下线消息。业务应用一般部署在阿里...
用户身份识别
功能原理 云消息队列 RocketMQ 版 的访问控制支持智能身份识别和ACL身份识别两种类型，云消息队列 RocketMQ 版 实例需要至少选择其中一种访问控制类型，用于控制客户端接入服务端时的认证方式。具体操作，请参见 设置访问控制类型。智能...
消息存储和清理机制
消息存储机制 原理机制 云消息队列 RocketMQ 版 使用存储时长作为消息存储的依据，即每个节点对外承诺消息的存储时长。在存储时长范围内的消息都会被保留，无论消息是否被消费；超过时长限制的消息则会被清理掉。消息存储机制主要定义以下...
分账规则及最佳实践
分账原理：云消息队列 RocketMQ 版 的分账基于标签管理实现。您需要给实例绑定相关标签，然后在查看费用账单时，可通过绑定的实例标签筛选出不同维度的明细账单。分账最佳实践 应用场景 某公司使用一个阿里云账号，该账号下拥有很多 云消息...
分账规则及最佳实践
分账原理：云消息队列 RocketMQ 版 的分账基于标签管理实现。您需要给实例绑定相关标签，然后在查看费用账单时，可通过绑定的实例标签筛选出不同维度的明细账单。分账最佳实践 应用场景 某公司使用一个阿里云账号，该账号下拥有很多 云消息...
鉴权概述
本文主要介绍 云消息队列 MQTT 版 客户端鉴权的原理和分类，以便您使用相应的鉴权功能。鉴权原理 使用 云消息队列 MQTT 版 的客户端收发消息时，服务端会根据MQTT客户端设置的UserName和Password参数来进行鉴权。针对不同的权限验证场景，...
鉴权概述
本文主要介绍 云消息队列 MQTT 版 客户端鉴权的原理和分类，以便您使用相应的鉴权功能。鉴权原理 使用 云消息队列 MQTT 版 的客户端收发消息时，服务端会根据MQTT客户端设置的UserName和Password参数来进行鉴权。针对不同的权限验证场景，...
跨云产品的数据流出
本文介绍数据流出的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云产品的资源映射关系。基本原理 如需将 云消息队列 MQTT 版 的数据导出至其他阿里云产品，您需创建数据流出规则。该规则用于将MQTT客户端发送的消息导出到...
P2P消息收发模式（MQTT）
本文介绍P2P模式的概念、原理以及如何使用 云消息队列 MQTT 版 点对点收发消息。什么是P2P模式 P2P，顾名思义，是一对一的消息收发模式，即只有一个消息发送者和一个消息接收者。而Pub/Sub模式通常用于一对多或多对多的消息群发场景，即...
P2P消息收发模式（MQTT）
本文介绍P2P模式的概念、原理以及如何使用 云消息队列 MQTT 版 点对点收发消息。什么是P2P模式 P2P，顾名思义，是一对一的消息收发模式，即只有一个消息发送者和一个消息接收者。而Pub/Sub模式通常用于一对多或多对多的消息群发场景，即...
死信队列
对于消费失败且重试后依然失败的消息，云消息队列 RocketMQ 版 不会立丢弃，而是将消息转发至指定的队列中，即死信队列，这些消息即为死信消息。当消费失败的原因排查并解决后，您可以重发这些死信消息，让消费者重新消费；若您暂时无法...
消费进度管理
消费进度原理 消息位点（Offset）参考 云消息队列 RocketMQ 版 主题 和 队列 的定义，消息是按到达服务端的先后顺序存储在指定主题的多个队列中，每条消息在队列中都有一个唯一的Long类型坐标，这个坐标被定义为消息位点。任意一个消息队列...
订阅者最佳实践
云消息队列 Kafka 版 负载均衡消费的内部原理是，把订阅的Topic的分区，平均分配给各个消费实例。因此，消费实例的个数不要大于分区的数量，否则会有消费实例分配不到任何分区而处于空跑状态。这个负载均衡发生的时间，除了第一次启动上线...
迁移上云概述
您可以将开源RocketMQ集群迁移到 云消息队列 RocketMQ 版 上以获得更好的业务体验，本文为您介绍开源RocketMQ集群迁移上云的方案及原理。产品差异对比 和开源RocketMQ相比，阿里云 云消息队列 RocketMQ 版 在技术架构、弹性效率、运维复杂...
跨云产品数据流入
本文介绍跨产品数据流入的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云产品的资源映射关系。基本原理 如需将其他阿里云产品的数据导入 云消息队列 MQTT 版，您需创建数据流入规则。该规则用于从您配置的阿里云产品中读取...
顺序消息
顺序消息为 云消息队列 RocketMQ 版 中的高级特性消息，本文为您介绍顺序消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 在有序事件处理、撮合交易、数据实时增量同步等场景下，异构系统间需要维持强一致的状态同步，...
如何通过代理访问云消息队列 Kafka 版实例
详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。配置代理后，第一步正常，但在第二步时，客户端仍然通过Metadata中的IP地址...
定时/延时消息
定时/延时消息为 云消息队列 RocketMQ 版 中的高级特性消息，本文为您介绍定时/延时消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 说明 定时消息和延时消息本质相同，都是服务端根据消息设置的定时时间在某一固定时刻...
事务消息
事务消息为 云消息队列 RocketMQ 版 中的高级特性消息，本文为您介绍事务消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 分布式事务的诉求 分布式系统调用的特点为一个核心业务逻辑的执行，同时需要调用多个下游业务...
迁移上云操作
和开源Apache RocketMQ相比，阿里云 云消息队列 RocketMQ 版 具有更高的稳定性、安全性及更完善的运维体系。您可以将开源RocketMQ集群迁移到 云消息队列 RocketMQ 版 上以获得更好的业务体验。本文为您介绍如何使用 云消息队列 RocketMQ 版...
MQTT客户端上下线事件数据流出
本文介绍客户端上下线通知的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云产品的资源映射关系。基本原理 在客户端上线和下线事件触发时，MQTT服务器会根据您配置的客户端上下线通知规则，向后端其他云产品推送一条上下线...
顺序消息
本文介绍 云消息队列 RocketMQ 版 顺序消息的概念、适用场景、实现原理以及使用过程中的注意事项。什么是顺序消息 顺序消息是 云消息队列 RocketMQ 版 提供的一种对消息发送和消费顺序有严格要求的消息。对于一个指定的Topic，消息严格按照...
使用Canal将MySQL的数据同步至云消息队列 Kafka 版
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...
普通消息
功能原理 什么是普通消息 定义：普通消息是 云消息队列 RocketMQ 版 基本消息功能，支持生产者和消费者的异步解耦通信。普通消息生命周期 初始化 消息被生产者构建并完成初始化，待发送到服务端的状态。待消费 消息被发送到服务端，对消费...
消息（Message）
本文介绍 云消息队列 RocketMQ 版 中消息（Message）的定义、模型关系、内部属性、行为约束及使用建议。定义 消息是 云消息队列 RocketMQ 版 中的最小数据传输单元。生产者将业务数据的负载和拓展属性包装成消息发送到 云消息队列 RocketMQ...
消息发送重试和流控机制
触发条件 云消息队列 RocketMQ 版 的消息流控触发条件如下：存储压力大：参考 消费进度管理 的原理机制，消费者分组的初始消费位点为当前队列的最大消费位点。若某些场景例如业务上新等需要回溯到指定时刻前开始消费，此时队列的存储压力会...
仪表盘
借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 RocketMQ 版 提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。本文介绍仪表盘的应用场景、业务背景...
生产者负载均衡
生产者发送消息到 云消息队列 RocketMQ 版 服务端时，云消息队列 RocketMQ 版 将根据生产者负载均衡策略将消息均匀的存储在多个队列中，避免产生热点队列和性能瓶颈。本文介绍 云消息队列 RocketMQ 版 生产者的负载均衡策略。背景信息 了解...
消费重试
本文介绍消费重试的应用场景、原理机制、版本兼容性和使用建议。应用场景 云消息队列 RocketMQ 版 的消费重试主要解决的是业务处理逻辑失败导致的消费完整性问题，是一种为业务兜底的策略，不应该被用作业务流程控制。以下场景建议使用消息...
队列（MessageQueue）
队列的主要作用如下：存储顺序性 队列天然具备顺序性，即消息按照进入队列的顺序写入存储，同一队列间的消息天然存在顺序关系，队列头部为最早写入的消息，队列尾部为最新写入的消息。消息在队列中的位置和消息之间的顺序通过位点（Offset...
排他队列
如果您想创建一个只有自己可见的队列，不允许其他用户访问，您可以使用 云消息队列 RabbitMQ 版 的排他性队列特性，将指定的队列声明为排他性。什么是排他队列 排他性队列的特点如下：排他队列只对首次声明它的连接（Connection）可见，...
消息收发流程变更
云消息队列 MQTT 版 V2.x.x版本强依赖 云消息队列 RocketMQ 版 作为消息存储，因此 云消息队列 MQTT 版 消息和 云消息队列 RocketMQ 版 天然打通，创建了Topic后即可天然使用 云消息队列 RocketMQ 版 和 云消息队列 MQTT 版 的SDK相互通信...
资源使用变更
云消息队列 MQTT 版 从V2.x.x升级至V3.x.x实现了自身数据存储的能力，同时还去除了对 云消息队列 RocketMQ 版 的消息依赖，因此，云消息队列 MQTT 版 的实例和Topic使用有变更。资源 V2.x.x使用说明 V3.x.x使用说明 云消息队列 MQTT 版 ...
批量消费
功能原理 批量消费主要分为以下两个阶段：消息从生产者发布至 云消息队列 RocketMQ 版 后，Push消费者中的拉消息线程通过长轮询将消息拉到后台缓存。Push消费者根据缓存情况是否满足任一批量条件，判断是否将消息提交给消费线程完成消费。...
MQTT与RocketMQ的消息结构映射
本文针对使用 云消息队列 RocketMQ 版 SDK与 云消息队列 MQTT 版 交互的场景，提供交互中所涉及的消息结构和属性字段的映射关系，方便您更好的理解和组合使用这两个产品。云消息队列 MQTT 版 是一款面向移动端的网关产品，可通过数据互通...
默认配置映射关系
映射关系如下：消息服务MNS 默认入参 目标端类型 模式 值 云消息队列 Kafka 版 部分事件$.data.value 云消息队列 RocketMQ 版 部分事件$.data.body 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body ...
- 产品推荐
- 这些文档可能帮助您