队列存储-队列存储文档介绍内容-阿里云

消息存储和清理机制

消息在队列中的存储情况如下：消息存储管理粒度说明云消息队列 RocketMQ 版按照服务端节点粒度管理存储时长而非队列或主题，原因如下：消息存储优势权衡：云消息队列 RocketMQ 版基于统一的物理日志队列和轻量化逻辑队列的二级组织方式...

队列（MessageQueue）

流式操作语义云消息队列 RocketMQ 版基于队列的存储模型可确保消息从任意位点读取任意数量的消息，以此实现类似聚合读取、回溯读取等特性，这些特性是RabbitMQ、ActiveMQ等非队列存储模型不具备的。模型关系在整个云消息队列 RocketMQ ...

顺序消息

基于云消息队列 RocketMQ 版本身队列的属性，消费顺序和队列存储的顺序一致，但不保证和发送顺序一致。未设置消息组，消息乱序发送。并发消费并发消费，尽可能按照时间顺序处理。顺序消息生命周期初始化消息被生产者构建并完成初始化...

MQTT快速入门

注意事项云消息队列 MQTT 版需搭配后端消息存储队列一起使用，具体说明如下：云消息队列 MQTT 版实例是一个无状态网关类型实例，用来完成IoT移动场景下的客户端连接维持和消息转发，本身并不提供消息数据持久化功能，具体的消息存储和...

存储费用

包年包月和按量付费计费方式下，存储费用为云消息队列 RocketMQ 版的必选计费项，系统会根据实例的存储空间占用量进行计费。计费说明项目说明计费公式存储费用=存储空间×存储单价×存储时长存储空间的值取计费周期（1小时）内起始...

存储引擎对比

在创建Topic时，您可以为云消息队列 Kafka 版选择云存储或Local存储引擎。云存储依托阿里云云盘算法、低延迟、低成本、弹性伸缩能力更好，适用于大多数场景；若有特殊需求，例如Compact、幂等、事务、分区顺序消息等，建议您选择Local...

Topic的存储有哪些类型？

云存储和Local存储。云消息队列 Kafka 版实例支持云存储和Local存储。详情请参见存储引擎对比。

云存储网关利用MQTT服务实现统一管控

通过云消息队列 MQTT 版所提供的服务，可采用统一的框架，即云控制台，来管理不同部署模式的云存储网关CSG（Cloud Storage Gateway），并实现安全合规的公网和私网穿透，以此提供一致的用户体验。名词解释 MQTT 一种物联网和移动互联网...

DBMS_AQADM

您可以使用 DBMS_AQADM 包中的存储过程创建并管理消息队列和队列表。表 1.DBMS_AQADM函数/存储过程函数/存储过程返回类型说明 ALTER_QUEUE N/A 修改现有的队列。ALTER_QUEUE_TABLE N/A 修改现有的队列表。CREATE_QUEUE N/A 创建队列。...

消费进度管理

虽然消息队列逻辑上是无限存储，但由于服务端物理节点的存储空间有限，云消息队列 RocketMQ 版会滚动删除队列中存储最早的消息。因此，消息的最小消费位点和最大消费位点会一直递增变化。消费位点（ConsumerOffset）云消息队列 RocketMQ ...

基本概念

队列通过QueueId来做唯一标识和区分。更多信息，请参见队列（MessageQueue）。消息（Message）消息是云消息队列 RocketMQ 版中的最小数据传输单元。生产者将业务数据的负载和拓展属性包装成消息发送到云消息队列 RocketMQ 版服务端，...

消息（Message）

消息持久化云消息队列 RocketMQ 版会默认对消息进行持久化，即将接收到的消息存储到云消息队列 RocketMQ 版服务端的存储文件中，保证消息的可回溯性和系统故障场景下的可恢复性。模型关系在整个云消息队列 RocketMQ 版的领域模型中...

消息发送重试和流控机制

触发条件云消息队列 RocketMQ 版的消息流控触发条件如下：存储压力大：参考消费进度管理的原理机制，消费者分组的初始消费位点为当前队列的最大消费位点。若某些场景例如业务上新等需要回溯到指定时刻前开始消费，此时队列的存储压力会...

获取MQTT客户端在线状态

应用场景云消息队列 MQTT 版需结合后端存储消息队列产品，如云消息队列 RocketMQ 版等使用，来和部署在云端服务器上的应用（下文简称为业务应用）完成业务流程。获取客户端在线状态主要的应用场景如下：主业务流程中需要根据客户端是否...

数据加密

云消息队列 RabbitMQ 版具有丰富的安全防护能力，通过多项合规认证，支持存储加密、传输加密等安全特性。为您的云端数据安全进行全方位的保驾护航，并满足您企业数据的安全与合规要求。存储加密使用限制地域限制：存储加密暂时仅华东1...

消息收发流程变更

云消息队列 MQTT 版 V2.x.x版本强依赖云消息队列 RocketMQ 版作为消息存储，因此云消息队列 MQTT 版消息和云消息队列 RocketMQ 版天然打通，创建了Topic后即可天然使用云消息队列 RocketMQ 版和云消息队列 MQTT 版的SDK相互通信...

领域模型概述

消息存储主题（Topic）：云消息队列 RocketMQ 版消息传输和存储的分组容器，主题内部由多个队列组成，消息的存储和水平扩展实际是通过主题内的队列实现的。队列（MessageQueue）：云消息队列 RocketMQ 版消息传输和存储的实际单元容器，...

控制台看到的最近消费时间是什么意思？

消息发布到云消息队列 Kafka 版服务器的存储时间。控制台看到的最近消费时间是指消息发布到云消息队列 Kafka 版服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。

主题（Topic）

队列列表定义：队列作为主题的组成单元，是消息存储的实际容器，一个主题内包含一个或多个队列，消息实际存储在主题的各队列内。更多信息，请参见队列（MessageQueue）。取值：系统根据队列数量给主题分配队列，队列数量创建主题时定义。...

常见问题

云消息队列 RocketMQ 版存储需要挂载磁盘吗？客户端连接常见问题客户端连接时出现“signature validate by dauth failed”错误客户端连接时出现“TimeoutException”错误客户端返回“valid resource owner failed”错误客户端返回...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

死信队列

在云消息队列 RocketMQ 版中，这种正常情况下无法被消费的消息称为死信消息（Dead-Letter Message），存储死信消息的特殊队列称为死信队列（Dead-Letter Queue）。特性说明死信消息具有以下特性：不会再被消费者正常消费。有效期与...

使用限制

限制项限制值说明限制Topic总数（分区总数）支持云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，Topic总数（分区总数）太多，会导致存储碎片化，集群性能和稳定性下降。Topic减少对应分区不支持这是Apache Kafka自身设计所...

使用限制

企业铂金版：存储时长为3天，若您购买实例的存储空间规格不足时，云消息队列 RocketMQ 版会按存储时间滚动删除最早的消息，此时消息的存储时长可能不足3天。说明定时消息和延时消息的存储时长以定时或延时时长到期的时间为开始进行计算。...

顺序消息

消息存储如上图所示，顺序消息的Topic中，每个逻辑队列对应一个物理队列，当消息按照顺序发送到Topic中的逻辑队列时，每个分区的消息将按照同样的顺序存储到对应的物理队列中。消息消费云消息队列 RocketMQ 版按照存储的顺序将消息投递...

生产者负载均衡

生产者发送消息到云消息队列 RocketMQ 版服务端时，云消息队列 RocketMQ 版将根据生产者负载均衡策略将消息均匀的存储在多个队列中，避免产生热点队列和性能瓶颈。本文介绍云消息队列 RocketMQ 版生产者的负载均衡策略。背景信息了解...

排他队列

如果您想创建一个只有自己可见的队列，不允许其他用户访问，您可以使用云消息队列 RabbitMQ 版的排他性队列特性，将指定的队列声明为排他性。什么是排他队列排他性队列的特点如下：排他队列只对首次声明它的连接（Connection）可见，...

资源使用变更

云消息队列 MQTT 版从V2.x.x升级至V3.x.x实现了自身数据存储的能力，同时还去除了对云消息队列 RocketMQ 版的消息依赖，因此，云消息队列 MQTT 版的实例和Topic使用有变更。资源 V2.x.x使用说明 V3.x.x使用说明云消息队列 MQTT 版 ...

实例规格

不支持消息存储时长 3天若您购买实例的存储空间规格不足时，云消息队列 RocketMQ 版会按存储时间滚动删除最早的消息，此时消息的存储时长可能不足3天。说明若您对消息存储时长有特殊要求，您可以联系云消息队列 RocketMQ 版技术支持...

实例使用变更

变更说明由于V3.x.x版本的云消息队列 MQTT 版实现了自身的消息存储，因此云消息队列 MQTT 版实例购买开通后即可直接创建资源使用，无需和任何其他云产品绑定使用。如您只需使用MQTT协议来收发消息，则更容易理解。变更说明的详细信息...

开源对比

本文从稳定性、内核能力、治理能力以及使用习惯等方面，对比阿里云云消息队列 Kafka 版与开源Apache Kafka。稳定性项目云消息队列 Kafka 版 Apache Kafka 磁盘水位磁盘写满删除旧数据。磁盘写满直接宕机。线程池隔离读冷数据仍可以...

基本概念

最近消费时间 Group 最近消费的消息被发布到云消息队列 Kafka 版服务端的存储时间。如果消费没有堆积，那么这个时间接近发送时间。堆积量当前分区下的消息堆积总量，即最大位点减去消费位点的值。堆积量是一个关键指标，如果发现堆积量...

Topic使用变更

云消息队列 MQTT 版从V2.x.x升级至V3.x.x后，实现了独立存储，Topic资源不再依赖于云消息队列 RocketMQ 版，因此两个产品的Topic将完全彼此独立。本文介绍两个版本中Topic资源控制台操作的差异并提供相应控制台截图进行对比。变更说明 ...

基本概念

云消息队列 RocketMQ 版将这种正常情况下无法被消费的消息称为死信消息（Dead-Letter Message），将存储死信消息的特殊队列称为死信队列（Dead-Letter Queue）。相关操作，请参见死信队列。消息路由消息路由常用于不同地域之间的消息...

产品架构

本文介绍云消息队列 Kafka 版的系统架构和发布/订阅模型。云消息队列 Kafka 版系统架构如云消息队列 Kafka 版的系统架构所示，一个云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka ...

MQTT与RocketMQ的消息结构映射

本文针对使用云消息队列 RocketMQ 版 SDK与云消息队列 MQTT 版交互的场景，提供交互中所涉及的消息结构和属性字段的映射关系，方便您更好的理解和组合使用这两个产品。云消息队列 MQTT 版是一款面向移动端的网关产品，可通过数据互通...

功能与特性概述

死信队列：将无法正常消费的消息储存到特殊的死信队列供后续处理。仪表盘：提供丰富、全面、多维度的统计指标，您可以分别从实例、Topic和Group维度查看消息生产指标、消息消费指标以及消息堆积等相关指标。监控报警：您可使用云消息队列 ...

默认配置映射关系

映射关系如下：消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body ...

默认配置映射关系

映射关系如下：消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body ...

默认配置映射关系

映射关系如下：消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body ...

队列存储

新品推荐