队列实现原理-队列实现原理文档介绍内容-阿里云

队列（MessageQueue）

常见队列增加场景需要增加队列实现物理节点负载均衡云消息队列 RocketMQ 版每个主题的多个队列可以分布在不同的服务节点上，在集群水平扩容增加节点后，为了保证集群流量的负载均衡，建议在新的服务节点上新增队列，或将旧的队列迁移到...

主题（Topic）

主题内部由多个队列组成，消息的存储和水平扩展能力最终是由队列实现的；并且针对主题的所有约束和属性设置，最终也是通过主题内部的队列来实现。内部属性主题名称定义：主题的名称，用于标识主题，主题名称集群内全局唯一。取值：由用户...

领域模型概述

消息存储主题（Topic）：云消息队列 RocketMQ 版消息传输和存储的分组容器，主题内部由多个队列组成，消息的存储和水平扩展实际是通过主题内的队列实现的。队列（MessageQueue）：云消息队列 RocketMQ 版消息传输和存储的实际单元容器，...

开源对比

通过镜像队列或仲裁队列实现，容易出现脑裂问题。消息堆积能力在海量消息堆积的情况下，始终保持高性能，不影响集群的正常服务。大量消息堆积容易引起内存问题，可能导致服务宕机。弹性能力通过增减集群节点数量实现扩缩容。Serverless...

基本概念

云消息队列 RocketMQ 版的所有主题都是由多个队列组成，以此实现队列数量的水平拆分和队列内部的流式存储。队列通过QueueId来做唯一标识和区分。更多信息，请参见队列（MessageQueue）。消息（Message）消息是云消息队列 RocketMQ 版中...

获取MQTT客户端在线状态

本文介绍这两种方式的基本原理、应用场景、具体差异以及实现方式。基本原理云消息队列 MQTT 版服务端（下文简称为MQTT服务端）提供以下方式获取客户端在线状态：同步查询该方式相对简单，即通过开放的接入点地址调用HTTP/HTTPS方式的...

迁移概述

迁移原理对于消息队列来说，如果要实现集群迁移，只需消费完旧集群的消息即可。由于Producer和Consumer都是集群化的，您可以通过一台一台机器操作的方式实现上层业务无感知。迁移方式迁移路由借助工具迁移迁移说明迁移不会删除自建的...

顺序消息

本文介绍云消息队列 RocketMQ 版顺序消息的概念、适用场景、实现原理以及使用过程中的注意事项。什么是顺序消息顺序消息是云消息队列 RocketMQ 版提供的一种对消息发送和消费顺序有严格要求的消息。对于一个指定的Topic，消息严格按照...

分账规则及最佳实践

分账原理：云消息队列 RocketMQ 版的分账基于标签管理实现。您需要给实例绑定相关标签，然后在查看费用账单时，可通过绑定的实例标签筛选出不同维度的明细账单。分账最佳实践应用场景某公司使用一个阿里云账号，该账号下拥有很多云消息...

分账规则及最佳实践

分账原理：云消息队列 RocketMQ 版的分账基于标签管理实现。您需要给实例绑定相关标签，然后在查看费用账单时，可通过绑定的实例标签筛选出不同维度的明细账单。分账最佳实践应用场景某公司使用一个阿里云账号，该账号下拥有很多云消息...

消费者分类

云消息队列 RocketMQ 版支持PushConsumer和SimpleConsumer这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息云消息队列 RocketMQ 版面向不同的业务场景提供了不同...

顺序消息

功能原理什么是顺序消息顺序消息是云消息队列 RocketMQ 版提供的一种高级消息类型，支持消费者按照发送消息的先后顺序获取消息，从而实现业务场景中的顺序处理。相比其他类型消息，顺序消息在发送、存储和投递的处理过程中，更多强调多...

快速入门概述

本文为您介绍如何快速使用云消息队列 RocketMQ 版实现消息收发。使用流程快速使用云消息队列 RocketMQ 版收发消息的流程如下图所示。使用说明权限说明若您的账号为RAM用户，则必须先为该RAM用户进行授权，才能访问云消息队列 ...

迁移上云操作

步骤二：配置网络信息创建迁移任务并配置源自建集群的网络信息，用于云消息队列 RocketMQ 版迁移工具读取源自建集群的元数据信息，并实现后续迁移任务的控制。注意事项云消息队列 RocketMQ 版迁移工具按照最小范围粒度仅访问源自建...

实例使用变更

变更说明由于V3.x.x版本的云消息队列 MQTT 版实现了自身的消息存储，因此云消息队列 MQTT 版实例购买开通后即可直接创建资源使用，无需和任何其他云产品绑定使用。如您只需使用MQTT协议来收发消息，则更容易理解。变更说明的详细信息...

Topic使用变更

云消息队列 MQTT 版从V2.x.x升级至V3.x.x后，实现了独立存储，Topic资源不再依赖于云消息队列 RocketMQ 版，因此两个产品的Topic将完全彼此独立。本文介绍两个版本中Topic资源控制台操作的差异并提供相应控制台截图进行对比。变更说明 ...

消息收发功能

消息收发为云消息队列 MQTT 版最基本的功能，云消息队列 MQTT 版支持终端和云端服务接入云消息队列 MQTT 版服务器，实现终端和终端、终端和云端的消息通信。本文介绍消息收发功能的基本场景和示例代码。背景信息云消息队列 MQTT 版 ...

事务消息

事务消息为云消息队列 RocketMQ 版中的高级特性消息，本文为您介绍事务消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景分布式事务的诉求分布式系统调用的特点为一个核心业务逻辑的执行，同时需要调用多个下游业务...

在线教育视频直播

场景描述适用于在线教育的视频直播场景，通过阿里云视频直播服务实现移动端的推拉流能力，同时移动端利用云消息队列 MQTT 版实现发送和接收消息，在消息转发时利用内容安全服务对消息内容进行审核。发送的消息可以存储在表格存储中。...

消息收发流程变更

由于云消息队列 MQTT 版 V2.x.x和V3.x.x相比，V3.x.x实现了独立存储，对云消息队列 RocketMQ 版没有强依赖，因此消息收发流程有相应的变更。云消息队列 MQTT 版 V2.x.x版本强依赖云消息队列 RocketMQ 版作为消息存储，因此云消息队列...

直播互动解决方案

本文以单直播间、一名老师、两名学生的场景为例，说明如何使用云消息队列 MQTT 版实现直播互动消息、禁言、成员上下线通知以及系统消息通知，其中，老师和学生的客户端以HTML网页为例，后端应用以Java为例。背景信息在直播互动的场景下...

云存储网关利用MQTT服务实现统一管控

通过云消息队列 MQTT 版所提供的服务，可采用统一的框架，即云控制台，来管理不同部署模式的云存储网关CSG（Cloud Storage Gateway），并实现安全合规的公网和私网穿透，以此提供一致的用户体验。名词解释 MQTT 一种物联网和移动互联网...

跨云产品的数据流出

本文介绍数据流出的原理、应用场景、使用限制以及云消息队列 MQTT 版与其他阿里云产品的资源映射关系。基本原理如需将云消息队列 MQTT 版的数据导出至其他阿里云产品，您需创建数据流出规则。该规则用于将MQTT客户端发送的消息导出到...

跨云产品数据流入

本文介绍跨产品数据流入的原理、应用场景、使用限制以及云消息队列 MQTT 版与其他阿里云产品的资源映射关系。基本原理如需将其他阿里云产品的数据导入云消息队列 MQTT 版，您需创建数据流入规则。该规则用于从您配置的阿里云产品中读取...

发布者最佳实践

如果您使用的Producer客户端版本小于2.4，可以根据黏性分区策略原理，自行实现分区策略，然后通过参数 partitioner.class 设置指定的分区策略。关于黏性分区策略实现，您可以参考如下Java版代码实现。该代码的实现逻辑主要是根据一定的时间...

快速使用MQTT.fx模拟SDK收发消息

如下图所示，您可以使用MQTT.fx作为MQTT客户端，在MQTT.fx客户端配置相关参数后接入云消息队列 MQTT 版实现消息的发送和接收。云消息队列 MQTT 版同时提供了公网接入点和 VPC 接入点。在物联网和移动互联网的场景中，客户端推荐使用 ...

消息过滤

消息过滤原理消息过滤主要通过以下几个关键流程实现：生产者：生产者在初始化消息时预先为消息设置一些属性和标签，用于后续消费时指定过滤目标。消费者：消费者在初始化及后续消费流程中通过调用订阅关系注册接口，向服务端上报需要订阅...

定时/延时消息

定时/延时消息为云消息队列 RocketMQ 版中的高级特性消息，本文为您介绍定时/延时消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景说明定时消息和延时消息本质相同，都是服务端根据消息设置的定时时间在某一固定时刻...

发送普通消息（三种方式）

云消息队列 RocketMQ 版的异步发送，需要您实现异步发送回调接口（SendCallback）。消息发送方在发送了一条消息后，不需要等待服务端响应即可发送第二条消息。发送方通过回调接口接收服务端响应，并处理响应结果。应用场景异步发送一般...

名词解释

规则用于实现云消息队列 MQTT 版 V3.x.x版本与其他阿里云产品的数据互通的资源。分为以下三类：数据流入规则：用于从您配置的阿里云产品中读取数据并将数据通过MQTT协议推送到MQTT客户端，从而实现直接调用阿里云产品的API发送数据到MQTT...

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 RocketMQ 版提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。本文介绍仪表盘的应用场景、业务背景...

生产者负载均衡

生产者发送消息到云消息队列 RocketMQ 版服务端时，云消息队列 RocketMQ 版将根据生产者负载均衡策略将消息均匀的存储在多个队列中，避免产生热点队列和性能瓶颈。本文介绍云消息队列 RocketMQ 版生产者的负载均衡策略。背景信息了解...

消费者负载均衡

策略原理队列粒度负载均衡策略中，同一消费者分组内的多个消费者将按照队列粒度消费消息，即每个队列仅被一个消费者消费。如上图所示，主题中的三个队列Queue1、Queue2、Queue3被分配给消费者分组中的两个消费者，每个队列只能分配给一个...

收发普通消息（三种方式）

阿里云云消息队列 RocketMQ 版的异步发送，需要实现异步发送回调接口（SendCallback）。消息发送方在发送了一条消息后，不需要等待服务端响应即可发送第二条消息。发送方通过回调接口接收服务端响应，并处理响应结果。应用场景异步发送...

迁移上云概述

您可以将开源RocketMQ集群迁移到云消息队列 RocketMQ 版上以获得更好的业务体验，本文为您介绍开源RocketMQ集群迁移上云的方案及原理。产品差异对比和开源RocketMQ相比，阿里云云消息队列 RocketMQ 版在技术架构、弹性效率、运维复杂...

用户身份识别

同时云消息队列 RocketMQ 版支持ACL身份识别，您可以按需为指定ACL用户赋予具体的Topic或Group的发布订阅权限，实现客户端权限的精细化控制。使用限制按量付费实例和包年包月实例使用用户身份识别功能需要提交工单申请开通，申请通过...

在Knative上实现Kafka消息推送

Knative已支持Kafka事件源，您可将Knative与云消息队列 Kafka 版对接，在Knative上实现Kafka消息推送。前提条件部署Knative 购买并部署云消息队列 Kafka 版实例重要云消息队列 Kafka 版实例和Knative必须处于同一VPC内。云消息队列...

消息堆积和延迟问题

通过了解云消息队列 RocketMQ 版客户端的消费原理和消息堆积的主要原因，帮助您可以在业务部署前更好的规划资源和配置，或在运维过程中及时调整业务逻辑，避免因消息堆积和延迟影响业务运行。背景信息消息处理流程中，如果客户端的消费...

开源RabbitMQ迁移上云

在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...

消费进度管理

消费进度原理消息位点（Offset）参考云消息队列 RocketMQ 版主题和队列的定义，消息是按到达服务端的先后顺序存储在指定主题的多个队列中，每条消息在队列中都有一个唯一的Long类型坐标，这个坐标被定义为消息位点。任意一个消息队列...

队列实现原理

新品推荐