发布者最佳实践
默认情况下，云消息队列 Kafka 版 为了提升可用性，并不保证单个分区内绝对有序，在升级或者宕机时，会发生少量消息乱序（某个分区挂掉后把消息Failover到其它分区）。如果业务要求分区保证严格有序，请在创建Topic时选择使用Local存储。
消费重试
系统异常时处理中的消息状态如何恢复：帮助您了解当系统出现异常（宕机故障）等场景时，处理中的消息状态如何恢复，是否会出现状态不一致。消费重试策略 消费重试策略指消费者在消费某条消息失败后，消息重试的间隔时间和最大重试次数。...
开源对比
无法跳过有问题消息的消费处理，无法处理新生产的消息，从而会导致消息大量堆积引起内存问题，导致消息服务宕机。用户名、密码 通过阿里云访问控制（RAM）的AccessKey和AccessKey Secret生成用户名和密码，详情请参见 静态用户名密码管理。...
存储引擎对比
在创建Topic时，您可以为 云消息队列 Kafka 版 选择云存储或Local存储引擎。云存储依托阿里云云盘算法、低延迟、低成本、弹性伸缩能力更好，适用于大多数场景；若有特殊需求，例如Compact、幂等、事务、分区顺序消息等，建议您选择Local...
步骤三：创建资源
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
开源对比
项目 云消息队列 Kafka 版 Apache Kafka 差异原因 Topic 创建方式 云消息队列 Kafka 版 控制台 云消息队列 Kafka 版 OpenAPI 服务端自动创建（默认不开启）Kafka CLI Kafka Manager 服务端自动创建 云消息队列 Kafka 版 默认通过阿里云控制...
为什么不推荐使用Sarama Go客户端收发消息？
当Sarama Go客户端的消费位点重置策略设置为 Oldest(earliest)时，如果客户端宕机或服务端版本升级，由于Sarama Go客户端自行实现OutOfRange机制，有可能会导致客户端从最小位点开始重新消费所有消息。解决方案 建议尽早将Sarama Go客户端...
如何快速测试云消息队列 Kafka 版服务端是否正常？
在创建并部署 云消息队列 Kafka 版 实例后，您可以使用 云消息队列 Kafka 版 控制台直接发送消息，快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...
作为Input接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
云消息队列 Kafka 版何时删除旧消息？
当往Kafka Topic中写入数据提示磁盘空间已满或 Queue full 时，为避免因磁盘容量不足而导致机器宕机，进而影响服务可用性，云消息队列 Kafka 版 会根据磁盘使用率的多少，执行不同的消息清理策略。清理策略 磁盘使用率每天凌晨4:00集中删除...
作为Input接入
主要适用于系统宕机后恢复状态，系统重启后重新加载缓存等场景。例如，在使用Kafka Connect或Confluent Schema Registry时，需要使用Kafka Compact Topic存储系统状态信息或配置信息。重要 Compact Topic一般只用在某些生态组件中，例如...
作为Input接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
作为Output接入
主要适用于系统宕机后恢复状态，系统重启后重新加载缓存等场景。例如，在使用Kafka Connect或Confluent Schema Registry时，需要使用Kafka Compact Topic存储系统状态信息或配置信息。重要 Compact Topic一般只用在某些生态组件中，例如...
消息幂等
消息重复的可能原因如下：发送时消息重复 当一条消息已被成功发送到服务端并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。如果此时Producer意识到消息发送失败并尝试再次发送消息，Consumer后续会收到两条...
作为Output接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
作为Input接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
作为Output接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
作为Output接入
集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 选择 Local 存储 时，默认选择 分区顺序消息。普通消息 日志清理策略 Topic日志的清理策略。当 存储...
将云消息队列 Kafka 版接入阿里云Elasticsearch
主要适用于系统宕机后恢复状态，系统重启后重新加载缓存等场景。例如，在使用Kafka Connect或Confluent Schema Registry时，需要使用Kafka Compact Topic存储系统状态信息或配置信息。重要 Compact Topic一般只用在某些生态组件中，例如...
消费幂等
消息重复的场景如下：发送时消息重复 当一条消息已被成功发送到服务端并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。如果此时生产者意识到消息发送失败并尝试再次发送消息，消费者后续会收到两条内容相同...
使用限制
云存储单分区 宕机和升级时可能导致不可用 建议创建的分区数大于1，如果强依赖单分区，可以使用Local存储。说明 仅专业版实例支持在创建Topic时将存储引擎类型选择为Local存储，标准版暂不支持。说明 云消息队列 Kafka 版 不再支持按照...
自动化创建Topic相关问题
例如网络抖动、服务端升级、管控平台升级维护、ECS宕机等情况，会大幅度增加创建Topic的耗时，业务的超时是固定的，必然因为超时，导致创建失败。业务冲突：自动创建Topic，容易触发不同业务名称冲突，如果触发，不同业务数据混合，很难...
自动创建Topic
例如网络抖动、服务端升级、管控平台升级维护、ECS宕机等情况，会大幅度增加创建Topic的耗时，业务的超时是固定的，必然因为超时，导致创建失败。业务冲突：自动创建Topic，容易触发不同业务名称冲突，如果触发会导致不同业务数据混合，很...
自动创建Topic
例如网络抖动、服务端升级、管控平台升级维护、ECS宕机等情况，会大幅度增加创建Topic的耗时，导致创建失败。业务冲突：自动创建Topic，容易触发不同业务名称冲突，如果触发会导致不同业务数据混合，很难发现问题。发现之后，恢复难度过大...
事务消息
基于 云消息队列 RocketMQ 版 分布式事务消息：支持最终一致性 上述普通消息方案中，普通消息和订单事务无法保证一致的原因，本质上是由于普通消息无法像单机数据库事务一样，具备提交、回滚和统一协调的能力。而基于 云消息队列 RocketMQ ...
基本概念
但是会出现部分分区发送消息失败的情况，等到宕机机器重新上线后即可恢复正常。更多信息，请参见 存储引擎对比。Connector 云消息队列 Kafka 版 的组件，用于 云消息队列 Kafka 版 和其他阿里云服务之间的数据同步。更多信息，请参见 ...
订阅者最佳实践
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
SDK概述
本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...
OnsMessageTrace-查看消息消费结果
本接口的实现基于云消息队列 RocketMQ 版的内部位点机制，在大部分场景下判断结果可信，但如果应用方进行过重置位点已经清除消息等操作，则判断结果可能有误。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行...
顺序消息
顺序消息为 云消息队列 RocketMQ 版 中的高级特性消息，本文为您介绍顺序消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 在有序事件处理、撮合交易、数据实时增量同步等场景下，异构系统间需要维持强一致的状态同步，...
迁移数据上云
普通消息在宕机时可能会乱序，分区顺序消息在宕机时依然保持顺序。VPC接入 配置 consumer.properties。自建Kafka集群的接入点 bootstrap.servers=XXX.XXX.XXX.XXX:9092#消费者分区分配策略 partition.assignment.strategy=org.apache.kafka...
接入点对比
云消息队列 Kafka 版 提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；需要链路加密和消息鉴权，建议使用SSL...
消息存储和清理机制
消息在队列中的存储情况如下：消息存储管理粒度说明 云消息队列 RocketMQ 版 按照服务端节点粒度管理存储时长而非队列或主题，原因如下：消息存储优势权衡：云消息队列 RocketMQ 版 基于统一的物理日志队列和轻量化逻辑队列的二级组织方式...
排他队列
如果您想创建一个只有自己可见的队列，不允许其他用户访问，您可以使用 云消息队列 RabbitMQ 版 的排他性队列特性，将指定的队列声明为排他性。什么是排他队列 排他性队列的特点如下：排他队列只对首次声明它的连接（Connection）可见，...
如何配置客户端参数？
acks=all：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把...
使用ACL功能进行访问控制
当需要对不同的用户或用户组授予不同级别的访问权限时，您可以使用 云消息队列 Kafka 版 专业版实例的访问控制列表（ACL）功能，为SASL用户赋予对Topic、Group等资源的操作权限，实现细粒度的权限管理。背景信息 企业A购买了 云消息队列 ...
常见问题
本文汇总了使用 云消息队列 RocketMQ 版 时的常见问题。产品功能常见问题 云消息队列 ...若某个消费组下的机器宕机，机器重启期间，消息会不会丢失？订阅消息时消息Tag是否可以为空？创建新的消费分组订阅旧的Topic，如何设置消费起始位置？
Exactly-Once投递语义
例如，当您的消费端完成一条消息的消费处理后出现异常宕机，而消费端重启后由于消费的位点没有同步到消息系统的服务端，该消息有可能被重复消费。业界对于Exactly-Once投递语义存在很大的争议，很多人会拿出“FLP不可能理论”或者其他一致...
常见问题
本文汇总了使用 云消息队列 RocketMQ 版 时的常见问题。产品功能常见问题 消息队列...若某个消费组下的机器宕机，机器重启期间，消息会不会丢失？订阅消息时消息Tag是否可以为空？创建新的消费分组订阅旧的Topic，如何设置消费起始位置？
消息发送重试和流控机制
本文为您介绍 云消息队列 RocketMQ 版 的消息发送重试机制和消息流控机制。背景信息 消息发送重试 云消息队列 RocketMQ 版 的消息发送重试机制主要为您解答如下问题：部分节点异常是否影响消息发送？请求重试是否会阻塞业务调用？请求重试...
- 产品推荐
- 这些文档可能帮助您