存放大数据的循环队列-存放大数据的循环队列文档介绍内容-阿里云

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到云消息队列 Kafka 版集群。前提条件您已完成以下操作：下载迁移工具MirrorMaker 迁移Topic上云背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

消费者（Consumer）

本文介绍云消息队列 RocketMQ 版中消费者（Consumer）的定义、模型关系、内部属性、行为约束、版本兼容性及使用建议。定义消费者是云消息队列 RocketMQ 版中用来接收并处理消息的运行实体。消费者通常被集成在业务系统中，从云消息...

迁移上云

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件您已购买并部署云消息队列...

使用限制

本文为您介绍云消息队列 MQTT 版对某些具体指标的约束和规范，您在使用云消息队列 MQTT 版时请不要超过相应的限制值，以免程序出现异常。具体的限制项和限制值请参见下表。如果您购买了铂金版的云消息队列 MQTT 版实例，则可按需定制...

名词解释

在使用云消息队列 MQTT 版前，需理解该产品和MQTT协议所涉及的基本概念和术语。基本概念实例（Instance）创建购买云消息队列 MQTT 版服务的实体单元，每个云消息队列 MQTT 版实例都对应一个全局唯一的服务接入点URL。使用云消息...

功能特性

Kafka商业模式功能集功能功能描述参考文档 Serverless版本升降配管理在云消息队列 Kafka 版控制台完成实例升配或降配，配置项包括规格类型、实例类型、发送能力预留和订阅能力预留等。升级实例配置降低实例配置弹性策略 V3系列...

消费者负载均衡

队列粒度的负载均衡，基于队列数量、消费者数量等运行数据进行统一的算法分配，将每个队列绑定到特定的消费者，然后每个消费者按照取消息>提交消费位点>持久化消费位点的消费语义处理消息，取消息过程不提交消费状态，因此，为了避免消息被...

Connection和Channel

Connection数量较少而消费的数据量较大时，可能会出现消费倾斜问题，您可以在保证每个消费者Connection数一致的同时，增加每个消费者的Connection数或增加消费者数量。建议所有消费者的Connection之和大于30。多个进程可以共享同一个...

消息收发常见问题

问题现象：使用数据流入规格将云消息队列 RocketMQ 版的数据流入至云消息队列 MQTT 版时，通过mqttSecondTopic属性设置了云消息队列 MQTT 版的子级Topic，消息发送后，子级Topic后会多一个“/”。可能原因：服务端会对Topic名称进行...

使用Kafka Connect将SQL Server数据同步至云消息队列 ...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

开源对比

云消息队列 RabbitMQ 版是一款基于高可用分布式存储架构实现的AMQP 0-9-1协议的消息产品，能够兼容开源RabbitMQ客户端，与开源RabbitMQ相比，能够解决各种稳定性痛点（例如消息堆积、脑裂等问题），同时具备高并发、分布式、灵活扩缩容等...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。更多信息，请参见 VPC...

接入Logstash

Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

查询TPS统计图表

本文介绍基于云消息队列 RabbitMQ 版当前日志快速查询TPS统计图表的方法。当您遇到TPS流量超限时，通过该方法可以及时查询秒级的TPS统计图表，帮助您高效识别出异常，保证业务正常运行。前提条件登录云消息队列 RabbitMQ 版控制台，将...

收发顺序消息

顺序消息（FIFO消息）是云消息队列 RocketMQ 版提供的一种严格按照顺序来发布和消费的消息类型。本文提供使用TCP协议下的Java SDK收发顺序消息的示例代码。前提条件您已完成以下操作：下载1.2.7或以上版本的Java SDK。更多信息，请参见...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

重试和死信

死信队列死信息队列将以任务维度为依据进行限制，当发生无法处理或者超过重试次数的情况时，会将失败的原始数据原封不动发送至消息队列，该选项默认为不启用状态。说明当前仅支持将死信发送至云消息队列 RocketMQ 版和消息服务MNS。

重试和死信

死信队列死信消息队列将以任务维度为依据进行限制，当发生无法处理或者超过重试次数的情况时，会将失败的原始数据原封不动发送至消息队列，该选项默认为不启用状态。说明当前仅支持将死信发送至云消息队列 RocketMQ 版和消息服务MNS。

消息收发计算规格费用

包年包月或按量付费计费方式下，消息收发计算规格为云消息队列 RocketMQ 版的必选计费项，云消息队列 RocketMQ 版根据消息收发TPS上限提供不同的计算规格，并按照规格大小和购买时长计算费用。计算规格说明计算规格能力约束消息收发...

重试和死信

死信队列死信息队列将以任务维度为依据进行限制，当发生无法处理或者超过重试次数的情况时，会将失败的原始数据原封不动发送至消息队列，该选项默认为不启用状态。说明当前仅支持将死信发送至云消息队列 RocketMQ 版和消息服务MNS。

ALTER QUEUE

修改队列的属性 ALTER QUEUE 命令的第二种形式可修改队列的属性：ALTER QUEUE queue_name SET[({ option_name option_value }[,SET option_name 表 2.参数信息参数说明 queue_name 现有队列的名称（可能是 schema 限定的）。包含 SET ...

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 RocketMQ 版提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。本文介绍仪表盘的应用场景、业务背景...

使用Kafka Connect将MySQL数据同步至云消息队列 Kafka...

本教程介绍如何使用Kafka Connect的Source Connector将MySQL的数据同步至云消息队列 Kafka 版。背景信息 Kafka Connect主要用于将数据流输入和输出云消息队列 Kafka 版。Kafka Connect主要通过各种Source Connector的实现，将数据从第三...

基本概念

本文主要对云消息队列 RocketMQ 版涉及的专有名词及术语进行定义和解析，方便您更好地理解相关概念并使用云消息队列 RocketMQ 版。Topic 消息主题，一级消息类型，通过Topic对消息进行分类。更多信息，请参见 Topic与Tag最佳实践。消息...

创建RabbitMQ Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建流入任务，将云消息队列 RabbitMQ 版中的数据快速导入至云消息队列 Kafka 版。前提条件您已购买云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

重试和死信

死信队列死信息队列将以任务维度为依据进行限制，当发生无法处理或者超过重试次数的情况时，会将失败的原始数据原封不动发送至消息队列，该选项默认为不启用状态。说明当前仅支持将死信发送至云消息队列 RocketMQ 版和消息服务MNS。

OnsDLQMessageResendById-重发指定的死信消息

仅推荐在管控链路集成，消息收发的核心数据链路中严禁依赖 OpenAPI 实现，否则可能会导致链路产生风险。死信消息已达最大重试次数，若重发后再次消费失败，则死信队列中将增加一条 Message ID 相同的消息，可通过控制台死信队列的查询页面...

Prometheus监控

阿里云Prometheus监控提供统一采集、存储和显示阿里云云服务的监控数据，并提供对应的Grafana监控大盘和告警。本文介绍阿里云Prometheus监控的指标详情和使用方法。指标详情 Prometheus监控指标详情如下表所示。指标类型指标名称描述 ...

创建RabbitMQ Sink Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流出任务，将云消息队列 Kafka 版的数据导出至云消息队列 RabbitMQ 版。前提条件您已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

云消息队列 RabbitMQ 版

本文介绍如何在云消息队列 RabbitMQ 版控制台创建流入任务，将指定云消息队列 RabbitMQ 版实例中的数据快速导入至另外的云消息队列 RabbitMQ 版实例中。前提条件您已购买云消息队列 RabbitMQ 版实例，且实例处于服务中状态。...

基本概念

本文说明云消息队列 Kafka 版涉及的专有名词和术语，帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版...

创建MNS Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流入任务，将消息服务MNS 中的数据快速导入云消息队列 Kafka 版。前提条件您已购买云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。...

MQTT客户端上下线事件数据流出

您可通过配置云消息队列 MQTT 版的客户端上下线通知规则，将获取的MQTT客户端上下线事件数据导出至其他阿里云产品。该方法为异步上下线通知。本文介绍客户端上下线通知的原理、应用场景、使用限制以及云消息队列 MQTT 版与其他阿里云...

创建RocketMQ Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流入任务，将云消息队列 RocketMQ 版的数据快速导入至云消息队列 Kafka 版。前提条件您已购买Kafka实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您已...

开源对比

稳定性项目云消息队列 Kafka 版 Apache Kafka 磁盘水位磁盘写满删除旧数据。磁盘写满直接宕机。线程池隔离读冷数据仍可以保证写入基本正常。读冷数据直接导致线程堵塞，数据写入大量失败。分区规模万级分区仍然可以保证稳定写入。千级...

常见问题

本文汇总了使用云消息队列 RocketMQ 版时的常见问题。产品功能常见问题云消息队列 RocketMQ 版5.0系列相比4.0系列实例有什么优势？云消息队列 RocketMQ 版5.0系列实例兼容哪些版本客户端？云消息队列 RocketMQ 版支持哪些语言客户端？云...

常见问题

本文汇总了使用云消息队列 RocketMQ 版时的常见问题。产品功能常见问题消息队列RocketMQ版5.x系列相比4.x系列实例有什么优势？消息队列RocketMQ版5.x系列实例兼容哪些版本客户端？消息队列RocketMQ版支持哪些语言客户端？消息队列...

创建MQTT Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建流入任务，将云消息队列 MQTT 版中的数据快速导入至云消息队列 Kafka 版实例中。前提条件您已购买云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买...

云消息队列 RocketMQ 版

本文介绍如何在云消息队列 RabbitMQ 版控制台创建消息流入任务，将云消息队列 RocketMQ 版中的数据快速导入至云消息队列 RabbitMQ 版。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见 ...

存放大数据的循环队列

新品推荐