主动队列管理算法常见故障-主动队列管理算法常见故障文档介绍内容-阿里云

通过可观测性能力进行故障处理最佳实践

本文为您介绍如何将云消息队列 RocketMQ 版可观测性功能应用于云消息队列 RocketMQ 版的故障管理场景中，为您的日常运维和故障处理提供实践方案。设计思路核心问题运维场景下，故障处理的核心问题如下：服务出现异常如何预警并上报 ...

数据加密

云消息队列 RabbitMQ 版存储加密默认采用行业标准的AES-256加密算法，利用密钥管理服务KMS（Key Management Service）加密您的数据信息，该项能力完全免费。传输加密使用限制传输加密仅Serverless版、企业版、铂金版实例支持，专业版...

消息存储和清理机制

消息在队列中的存储情况如下：消息存储管理粒度说明云消息队列 RocketMQ 版按照服务端节点粒度管理存储时长而非队列或主题，原因如下：消息存储优势权衡：云消息队列 RocketMQ 版基于统一的物理日志队列和轻量化逻辑队列的二级组织方式...

查看Rebalance详情

消费时间过慢，超过一定时间（max.poll.interval.ms 设置的值，默认5分钟）未进行Pull拉取消息，则会导致客户端主动离开队列，触发Rebalance。消费者数量过多，为避免当前Topic-Partition的任务浪费，需要关闭一定数量的消费者，触发...

计费FAQ

本文汇总了云消息队列 RabbitMQ 版计费的常见问题。向10个Queue发送同一条消息，为什么收10次API调用费？将1条消息发送给10个Queue，实际上是10次API调用。为什么删除的Vhost、Exchange、Queue会被自动重建并重新开始计费？虽然删除了...

计费FAQ

本文汇总了云消息队列 RabbitMQ 版计费的常见问题。向10个Queue发送同一条消息，为什么收10次API调用费？将1条消息发送给10个Queue，实际上是10次API调用。为什么删除的Vhost、Exchange、Queue会被自动重建并重新开始计费？虽然删除了...

新功能发布记录

本文介绍云消息队列 Kafka 版的产品功能动态及对应的文档。2024-04-15 功能名称功能描述功能类型相关文档 V3.0 Serverless系列实例在华东2（上海）地域开服云消息队列 Kafka 版 V3.0 Serverless系列实例支持在华东2（上海）地域选购...

查看实例风险

消费流量 Group与Topic的订阅关系服务端小版本升级消费位点提交频率存在Rebalance的Group 消费客户端主动离开队列使用Sarama Go客户端操作步骤登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。...

为什么消费客户端频繁出现Rebalance？

v0.10.2及之后版本的客户端：如果消费时间过慢，超过一定时间（max.poll.interval.ms 设置的值，默认5分钟）未进行poll拉取消息，则会导致客户端主动离开队列，而引发Rebalance。解决方案首先您需要了解以下几点信息：session.timeout.ms...

消费进度管理

云消息队列 RocketMQ 版通过消费位点管理消费进度，本文为您介绍云消息队列 RocketMQ 版的消费进度管理机制。背景信息云消息队列 RocketMQ 版的生产者和消费者在进行消息收发时，必然会涉及以下场景，消息先生产后订阅或先订阅后生产...

YARN调度器

主要特性 CapacityScheduler具备如下的特性：多级队列（树形结构）：支持多级租户管理，父队列资源配额能够限制其下所有子队列的资源使用，单个子队列的资源配额也不能超过父队列的资源配额，因此对于多租户管理具备较高的可控性，能够满足...

基本概念

本文说明云消息队列 Kafka 版涉及的专有名词和术语，帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版...

生产者负载均衡

生产者发送消息到云消息队列 RocketMQ 版服务端时，云消息队列 RocketMQ 版将根据生产者负载均衡策略将消息均匀的存储在多个队列中，避免产生热点队列和性能瓶颈。本文介绍云消息队列 RocketMQ 版生产者的负载均衡策略。背景信息了解...

出账与欠费说明

云消息队列 RocketMQ 版的计费出账和欠费释放根据支付方式有所不同，本文介绍标准版实例（按量付费）与企业铂金版实例（包年包月）的出账与欠费说明。标准版实例（按量付费）的出账与欠费说明说明以下说明同样适用于资源包。云消息队列 ...

消费者负载均衡

消费者从云消息队列 RocketMQ 版获取消息消费时，通过消费者负载均衡策略，可将主题内的消息分配给指定消费者分组中的多个消费者共同分担，提高消费并发能力和消费者的水平扩展能力。本文介绍云消息队列 RocketMQ 版消费者的负载均衡...

服务器证书管理

服务器证书用于客户端认证服务端，服务器证书需要由您自行购买或自行签发并托管至阿里云数字证书管理服务。本文为您介绍如何生成并使用服务器证书。服务器证书使用流程使用限制仅铂金版实例和专业版实例支持服务器证书管理功能。前提条件...

主题（Topic）

本文介绍云消息队列 RocketMQ 版中主题（Topic）的定义、模型关系、内部属性、行为约束、版本兼容性及使用建议。定义主题是云消息队列 RocketMQ 版中消息传输和存储的顶层容器，用于标识同一类业务逻辑的消息。主题的作用主要如下：...

新功能发布记录

新增开服地域预付费实例计费说明 Serverless后付费实例计费说明 2023-11-15 功能名称功能描述功能类型相关文档数据加密云消息队列 RabbitMQ 版的铂金版实例支持存储加密功能，通过AES-256加密算法对您存储在服务端的数据以及元数据...

使用云消息队列 Kafka 版时出现消息堆积

使用云消息队列 Kafka 版时，可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况，以及处理方法。客户端消费流程了解客户端消费流程，有助于理解...更多常见问题，请参见云消息队列 Kafka 版使用中的常见问题。

重置消费位点

当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点，重新开始消费。您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。背景信息云消息队列 RocketMQ 版通过消费位点管理消息的消费进度。...

云存储网关利用MQTT服务实现统一管控

通过云消息队列 MQTT 版所提供的服务，可采用统一的框架，即云控制台，来管理不同部署模式的云存储网关CSG（Cloud Storage Gateway），并实现安全合规的公网和私网穿透，以此提供一致的用户体验。名词解释 MQTT 一种物联网和移动互联网...

生产者（Producer）

本文介绍云消息队列 RocketMQ 版中生产者（Producer）的定义、模型关系、内部属性、版本兼容性及使用建议。定义生产者是云消息队列 RocketMQ 版系统中用来构建并传输消息到服务端的运行实体。生产者通常被集成在业务系统中，将业务...

消费者分类

云消息队列 RocketMQ 版支持PushConsumer和SimpleConsumer这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息云消息队列 RocketMQ 版面向不同的业务场景提供了不同...

标签管理

本文介绍如何为云消息队列 Kafka 版的实例、Topic、Group 等资源绑定标签，从而帮助您根据标签给资源归类，高效管理资源。背景信息标签由标签键和标签值组成，可以标记云消息队列 Kafka 版的资源。如果您的账号下有多种云消息队列 ...

开源RabbitMQ迁移上云

在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...

开源MQTT迁移至云消息队列 MQTT 版

本文为您介绍如何将开源MQTT客户端从其他开源MQTT服务端迁移至阿里云的云消息队列 MQTT 版服务端上。背景信息云消息队列 MQTT 版拥有多协议、多语言平台的开发能力，并支持设备级权限控制以及SSL/TLS传输加密，您可以不变更开源客户端...

消费重试

消费者出现异常，云消息队列 RocketMQ 版会根据消费重试策略重新投递该消息进行故障恢复。本文介绍消费重试的应用场景、原理机制、版本兼容性和使用建议。应用场景云消息队列 RocketMQ 版的消费重试主要解决的是业务处理逻辑失败导致的...

开源对比

云消息队列 RabbitMQ 版是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

消息发送重试和流控机制

本文为您介绍云消息队列 RocketMQ 版的消息发送重试机制和消息流控机制。背景信息消息发送重试云消息队列 RocketMQ 版的消息发送重试机制主要为您解答如下问题：部分节点异常是否影响消息发送？请求重试是否会阻塞业务调用？请求重试...

查看消费者状态

应用场景消费者状态信息包括在线状态、订阅关系、消费TPS、消息堆积量和线程堆栈信息等，经常被应用于以下故障排查场景：故障场景现象处理建议订阅关系不一致在 Group 详情页面，看到Group ID的订阅关系显示订阅关系不一致，请...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。更多信息，请参见 VPC...

步骤三：创建资源

当使用云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

将云消息队列 Kafka 版接入阿里云Elasticsearch

随着时间的积累，云消息队列 Kafka 版中的日志数据会越来越多。当您需要查看并分析庞杂的日志数据时，可通过阿里云Logstash将云消息队列 Kafka 版中的日志数据导入阿里云Elasticsearch，然后通过Kibana进行可视化展示与分析。本文介绍将...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向云消息队列 Kafka 版发送消息。前提条件购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...

迁移上云

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件您已购买并部署云消息队列...

一机一密概述

当设备与云消息队列 MQTT 版建立连接时，需要将设备访问凭证中的信息按照约定的形式设置到Username和Password中，向云消息队列 MQTT 版发起认证请求，云消息队列 MQTT 版认证通过后激活设备，设备与云消息队列 MQTT 版间才可传输...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

主动队列管理算法常见故障

新品推荐