链队列的存储结构-链队列的存储结构文档介绍内容-阿里云

领域模型概述

消息存储主题（Topic）：云消息队列 RocketMQ 版消息传输和存储的分组容器，主题内部由多个队列组成，消息的存储和水平扩展实际是通过主题内的队列实现的。队列（MessageQueue）：云消息队列 RocketMQ 版消息传输和存储的实际单元容器，...

消息发送重试和流控机制

若某些场景例如业务上新等需要回溯到指定时刻前开始消费，此时队列的存储压力会瞬间飙升，触发消息流控。服务端请求任务排队溢出：若消费者消费能力不足，导致队列中有大量堆积消息，当堆积消息超过一定数量后会触发消息流控，减少下游消费...

顺序消息

基于云消息队列 RocketMQ 版本身队列的属性，消费顺序和队列存储的顺序一致，但不保证和发送顺序一致。未设置消息组，消息乱序发送。并发消费并发消费，尽可能按照时间顺序处理。顺序消息生命周期初始化消息被生产者构建并完成初始化...

消息存储和清理机制

本文为您介绍云消息队列 RocketMQ 版中消息的存储机制，包括消息的存储粒度、判断依据及后续处理策略等。背景信息参考云消息队列 RocketMQ 版中队列的定义，消息按照达到服务器的先后顺序被存储到队列中，理论上每个队列都支持无限...

队列（MessageQueue）

流式操作语义云消息队列 RocketMQ 版基于队列的存储模型可确保消息从任意位点读取任意数量的消息，以此实现类似聚合读取、回溯读取等特性，这些特性是RabbitMQ、ActiveMQ等非队列存储模型不具备的。模型关系在整个云消息队列 RocketMQ ...

获取MQTT客户端在线状态

下文以云消息队列 RocketMQ 版作为后端存储消息队列的情况为例说明。操作步骤创建上下线事件对应的Topic。您需关注哪些Group ID分组的设备，就在云消息队列 MQTT 版控制台创建对应的Topic。创建Topic的步骤请参见 MQTT快速入门。例如...

创建RabbitMQ Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建流入任务，将云消息队列 RabbitMQ 版中的数据快速导入至云消息队列 Kafka 版。前提条件您已购买云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

GetInstance-获取指定实例的详情

消息队列 RocketMQ 版的消息存储完全实现 Serverless 弹性，按照实际存储空间收取费用，您可以通过调整消息保存时长来控制消息的存储容量。更多信息，请参见存储费用。72 supportAutoScaling boolean 实例是否支持开启规格外突发弹性能力...

区块链服务 BaaS 介绍

可信执行环境与跨链技术蚂蚁区块链基于硬件可信执行环境（TEE）提供强隐私和高性能的链上数据隐私保护服务，可以对敏感交易数据提供全链路、全生命周期的隐私保护。蚂蚁区块链的跨链技术包括三个组成部分：UDAG 跨链协议、跨链合约服务、...

存储费用

包年包月和按量付费计费方式下，存储费用为云消息队列 RocketMQ 版的必选计费项，系统会根据实例的存储空间占用量进行计费。计费说明项目说明计费公式存储费用=存储空间×存储单价×存储时长存储空间的值取计费周期（1小时）内起始...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

API概览

本产品（微消息队列 MQTT/2020-04-20）的OpenAPI采用 RPC 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

基本概念

本文介绍云消息队列 RocketMQ 版的基本概念，以便您更好地理解和使用云消息队列 RocketMQ 版。主题（Topic）云消息队列 RocketMQ 版中消息传输和存储的顶层容器，用于标识同一类业务逻辑的消息。主题通过TopicName来做唯一标识和区分。...

消息（Message）

消息持久化云消息队列 RocketMQ 版会默认对消息进行持久化，即将接收到的消息存储到云消息队列 RocketMQ 版服务端的存储文件中，保证消息的可回溯性和系统故障场景下的可恢复性。模型关系在整个云消息队列 RocketMQ 版的领域模型中...

使用限制

限制项限制值说明限制Topic总数（分区总数）支持云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的，Topic总数（分区总数）太多，会导致存储碎片化，集群性能和稳定性下降。Topic减少对应分区不支持这是Apache Kafka自身设计所...

实例升降配

存储规格不涉及云消息队列 RocketMQ 版 的存储空间根据实际使用量按量付费，您可以随时调整消息存储时长来控制占用的存储空间。公网访问类型支持支持升配和降配。升配：开启公网访问。降配：关闭公网访问。公网流量带宽支持支持升配...

概述

阿里云提供针对各种存储资源（块、文件和对象）的低成本、高可靠、高可用的存储服务，涵盖数据备份、归档、容灾等场景。本文介绍阿里云各类存储服务及特性的适用场景、性能、安全、接口和费用模型等，帮助您选择最适合您业务场景和需求的云...

事件告警

告警的处理方式元数据空间不足告警原因元数据空间指的是SMB或NFS共享所对应的缓存盘中用于存储元数据的空间，主要包括目录结构等信息，文件数目越多，使用的元数据空间也就越大。共享使用的缓存盘由数据空间和元数据空间组成，默认20%的...

OnsTopicStatus-查询Topic状态

427EE49D-D762-41FB-8F3D-9BAC96C3*Data object 查询到的 Topic 的信息存储数据结构。Perm integer 所有关系编号。取值说明如下：2：可以发布 4：可以订阅 6：可以发布和订阅 6 LastTimeStamp long 当前 Topic 内最新一条消息的就绪时间，...

产品架构

数据接入表格存储提供SDK、DataWorks、IoT规则引擎等多种数据接入方式，支撑应用数据、消息数据、物联网数据等不同业务类型结构化数据的存储。Tablestore 多模型数据存储表格存储针对不同业务类型的结构化数据提供了宽表（WideColumn）...

控制台看到的最近消费时间是什么意思？

消息发布到云消息队列 Kafka 版服务器的存储时间。控制台看到的最近消费时间是指消息发布到云消息队列 Kafka 版服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。

MQTT客户端上下线事件数据流出

映射关系 MQTT资源其他阿里云产品其他阿里云产品资源数据包定义 MQTT Group ID 云消息队列 RocketMQ 版云消息队列 RocketMQ 版的Topic MQTT和RocketMQ的消息结构映射操作流程如上文所述，如果使用异步上下线通知的方式，您需创建...

消费进度管理

消费进度原理消息位点（Offset）参考云消息队列 RocketMQ 版主题和队列的定义，消息是按到达服务端的先后顺序存储在指定主题的多个队列中，每条消息在队列中都有一个唯一的Long类型坐标，这个坐标被定义为消息位点。任意一个消息队列...

环境准备

使用Flink访问表格存储中的表前，您需要开通实时计算Flink服务并创建Flink全托管实例以及开通表格存储Tablestore服务并创建Tablestore实例。背景信息阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供...

云存储网关软件版公测

云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...

前言

BucketLifecycle.php 设置、读取和清除存储空间的生命周期 BucketLogging.php 设置、读取和清除存储空间的访问日志 BucketReferer.php 设置、读取和清除存储空间的防盗链 BucketWebsite.php 设置、读取和清除存储空间的静态网站托管 ...

使用MongoDB Connector连接MongoDB数据库

本文介绍如何创建MongoDB Connector，将MongoDB数据库和云消息队列 Kafka 版的数据进行双向同步。前提条件开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见控制台创建存储空间。已...

主题（Topic）

主题内部由多个队列组成，消息的存储和水平扩展能力最终是由队列实现的；并且针对主题的所有约束和属性设置，最终也是通过主题内部的队列来实现。内部属性主题名称定义：主题的名称，用于标识主题，主题名称集群内全局唯一。取值：由用户...

数据流入规则管理

重要在云消息队列 MQTT 版中Topic是多级结构，而云消息队列 RocketMQ 版的Topic仅有一级，因此，云消息队列 MQTT 版中的一级Topic映射到云消息队列 RocketMQ 版的Topic，而子级Topic，包括二级、三级、n级Topic则映射到云消息队列...

数据流出规则管理

重要在云消息队列 MQTT 版中Topic是多级结构，而云消息队列 RocketMQ 版的Topic仅有一级，因此，云消息队列 MQTT 版中的一级Topic映射到云消息队列 RocketMQ 版的Topic，而子级Topic，包括二级、三级、n级Topic则映射到云消息队列...

顺序消息

如果是普通消息，订单A的消息可能会被轮询发送到不同的队列中，不同队列的消息将无法保持顺序，而顺序消息发送时云消息队列 RocketMQ 版支持将Sharding Key相同（例如同一订单号）的消息序路由到一个队列中。云消息队列 RocketMQ 版服务...

上下线通知规则管理

说明云消息队列 MQTT 版和云消息队列 RocketMQ 版的消息结构映射信息，请参见 MQTT和RocketMQ的消息结构映射。编辑上下线通知规则在规则列表，找到您想编辑的规则，并在其操作列选择更多>编辑。在编辑规则页面，您可以更新除规则...

生产者负载均衡

生产者发送消息到云消息队列 RocketMQ 版服务端时，云消息队列 RocketMQ 版将根据生产者负载均衡策略将消息均匀的存储在多个队列中，避免产生热点队列和性能瓶颈。本文介绍云消息队列 RocketMQ 版生产者的负载均衡策略。背景信息了解...

死信队列

说明死信消息产生的时间是指一条消息在投递重试达到最大次数后被发送到死信队列的时间。按 Message ID 查询按Message ID查询消息属于精确查询。您可以根据Group ID与Message ID精确查询到任意一条消息。导出死信消息若您暂时无法处理...

基本概念

本文主要对云消息队列 RocketMQ 版涉及的专有名词及术语进行定义和解析，方便您更好地理解相关概念并使用云消息队列 RocketMQ 版。Topic 消息主题，一级消息类型，通过Topic对消息进行分类。更多信息，请参见 Topic与Tag最佳实践。消息...

生产者（Producer）

消息按照到达云消息队列 RocketMQ 版服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从云消息队列 RocketMQ 版服务端中获取消息并消费。内部属性客户端ID 定义：生产者客户端的标识，用于区分不同的生产者。集群内全局...

消息查询

云消息队列 RocketMQ 版提供了三种消息查询的方式，分别是按Message ID、Message Key以及Topic查询。您可以通过消息查询验证消息是否发送成功、验证消息发送的内容是否正确、以及进一步查看消息的轨迹信息。查询方式说明由于消息在云...

删除队列消息

本文介绍如何删除某个队列的所有消息。您可以使用Java客户端库中 queuePurge 方法删除某个队列的所有消息。示例代码如下：channel.queuePurge("queue-name");

查询消息轨迹

云消息队列 RocketMQ 版将消息发送、消息存储、消息消费这几个关键节点的数据定义为轨迹参数，例如消息发送结果、发送耗时、消息到达服务端的时间、消息的消费结果、消费耗时、客户端信息等，并支持可视化查询。当消息收发结果不符合预期...

消费者（Consumer）

消息按照到达云消息队列 RocketMQ 版服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从云消息队列 RocketMQ 版服务端中获取消息并消费。内部属性消费者分组名称定义：当前消费者关联的消费者分组名称，消费者必须关联...

链队列的存储结构

新品推荐