如何监控开源Apache Kafka？
本文为您介绍监控开源Apache Kafka的解决方案。如果您需要监控开源Apache Kafka，请参见以下解决方案： How to Monitor Kafka Monitoring Kafka performance metrics
什么是消息队列Kafka版？
三分钟了解阿里云消息队列Kafka版。
消息队列Kafka版控制台的报警项中状态列显示“数据...
问题描述 在消息队列Kafka版控制台的报警项中，状态列显示“数据不足”。问题原因 虽然配置了报警规则，但您的消息队列Kafka版 实例版本低，不支持报警数据上报。解决方案 请升级消息队列Kafka版实例的版本至最新...
能否通过公网访问消息队列Kafka版实例？
网络类型为公网/VPC的消息队列Kafka版实例支持通过公网访问。消息队列Kafka版 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请在购买时选择网络类型为公网/VPC的消息队列Kafka版实例。注意 实例的网络...
为什么不能登录部署消息队列Kafka版的机器？
消息队列Kafka版提供全托管免运维服务，您无需登录机器。消息队列Kafka版是全托管的，由消息队列Kafka版 专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。
如何快速使用消息队列Kafka版的Java SDK收发消息
六分钟上手消息队列Kafka版。文档教程 快速入门
使用消息队列Kafka版时客户端的报错及解决方案
消息队列Kafka版Demo库 说明：该方案仅适用于消息队列Kafka版的公网实例。run out of brokers Go Authentication failed for user Python Leader is not available 所有 Topic初始化时会短暂报该错误。如果持续报错...
消息队列Kafka版何时删除旧消息？
为避免因磁盘容量不足而导致机器宕机，进而影响服务可用性，消息队列Kafka版对磁盘使用率进行了动态控制。磁盘使用率低于85%：每天凌晨4点集中删除超过存储时间的消息。磁盘使用率达到85%：立即清除超过存储时间的...
如何快速测试消息队列Kafka版服务端是否正常？
在创建并部署消息队列Kafka版实例后，您可以使用消息队列Kafka版控制台直接发送消息，快速测试服务端是否正常。前提条件 您已创建并部署消息队列Kafka版 实例，且实例处于服务中状态。操作流程 快速测试消息队列...
使用消息队列Kafka版时消费客户端频繁出现Rebalance
问题描述 使用消息队列Kafka版时，消费客户端（Consumer）频繁出现Rebalance。问题原因 ...session.timeout.ms：v0.10.2之前的版本可适当提高该参数值，需要大于消费一批数据的时间，但不要超过30s，建议设置为25s；...
如何通过代理访问消息队列Kafka版实例
概述 暂不支持通过代理访问消息队列Kafka实例，具体请查看详细信息。详细信息 消息队列Kafka版的客户端访问服务端的原理如下。通过bootstrap.servers随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的...
无法ping通消息队列Kafka版的接入点
问题描述 无法ping通消息队列Kafka版的接入点。问题原因 为了保证安全，消息队列Kafka版集群默认禁ping。解决方案 您可以通过telnet 命令测试网络连通性。但需要注意以下几点要求： 执行telnet命令的客户端在白名单...
使用消息队列Kafka版时出现消息堆积
概述 使用消息队列Kafka版时，可能会发现Group中出现消息堆积。该情况是否属于正常情况，以及如何...客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。...
消息队列Kafka版实例删除Group后仍然可以接收到消息
问题描述 使用消息队列Kafka版实例时，删除Group后仍然可以接收到消息。问题原因 历史版本的消息队列Kafka版实例在删除...如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。...
客户端首次接入消息队列Kafka版时出现异常的排查方法
关于客户端Demo，您可以参见消息队列Kafka版Demo库。说明 消息队列Kafka版对客户端版本有限制。例如，如果服务端版本为“0.10.2.2”，建议的客户端版本为“0.10.2.2”。具体以服务端版本为准。配置问题：默认接入点...
不在同一可用区内的ECS实例如何访问消息队列Kafka版...
概述 不在同一可用区内的ECS实例可通过非公网的方式访问消息队列Kafka版实例，详情请查看以下内容。详细信息 以非公网的方式访问消息队列Kafka版 实例时，必须...重新创建或部署前，务必进行数据备份，以防数据丢失。...
使用消息队列Kafka版时出现“Not authorized to ...
问题描述 使用消息队列Kafka版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在消息队列...
应急预案：专有云V3环境中Kafka磁盘满导致消息写入...
1.概述 本文主要介绍在专有云V3环境中，Kafka磁盘满导致消息写入失败的处理方法。1.1.适用范围 专有云V3，消息队列Kafka 说明：适用于企业版和敏捷PaaS，且专有云版本为V3.13及之后版本。1.2.用户告知 适用平台：x86...
消息队列Kafka版各分区（Partition）的消费时间不一致
问题描述 消息队列Kafka版各分区（Partition）的消费时间不一致，具体表现如下。各分区的消费时间相差较大。某些分区的消费时间滞后明显。某些分区的消费时间发生乱序的现象。问题原因 目前，在消息队列Kafka版控制...
应急预案：专有云V3环境中Kafka磁盘损坏或者新节点扩...
在专有云V3环境中，Kafka磁盘损坏或者新节点扩容后，Topic的分区信息不完整，在部分Pod上有数据，部分Pod上没有数据，本文主要介绍如何修复该问题。1.1.适用范围 专有云V3，消息队列Kafka 说明：适用于企业版和敏捷...
消息队列Kafka版的消费端从服务端拉取不到消息或者...
登录消息队列Kafka版的控制台，单击 监控报警，查看监控信息。关于如何查看或者设置实例的监控报警信息，请参阅监控报警。检查 实例消息消费流量 是否已经达到实例的带宽峰值。如果已经达到带宽峰值，您需要升级实例...
消息队列Kafka版实例中重新创建已经删除过的Topic时...
问题描述 消息队列Kafka版实例中，重新创建已经删除过的Topic并且分区数小于上次创建时设置的分区数，系统提示以下信息。...如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。...
报警项状态显示数据不足怎么办？
消息队列Kafka版实例不支持报警数据上报。解决方案 登录消息队列Kafka版控制台。在顶部菜单栏，选择目标实例所在地域。在左侧导航栏，单击实例详情。在实例详情页面上方，单击目标实例。在基本信息区域的内部版本...
是否支持延迟消息？
和开源Apache Kafka一样，消息队列Kafka版同样不支持延迟消息。
是否支持Consumer Group自动创建？
消息队列Kafka版部分支持Consumer Group自动创建。消息队列Kafka版Consumer Group自动创建请参见自动创建Consumer Group。Consumer Group自动创建，使用起来方便，运维起来却极其麻烦，且极易造成系统不稳定。消息...
是否支持压缩消息？
消息队列Kafka版服务端支持收发压缩消息。如需使用压缩消息，您需要在消息队列Kafka版的客户端进行设置。在消息队列Kafka版 客户端进行消息压缩的说明如下： 压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP...
为什么需要升级实例来支持监控告警功能？
2018年11月以前部署的消息队列Kafka版集群不支持上报监控告警数据，需要升级来支持监控告警功能。在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的消息队列Kafka版集群不支持上报监控告警数据，...
为什么Topic不能减分区？
Topic减分区会造成数据丢失。这是Apache Kafka自身设计所限制的。
是否支持Compact的日志清理策略？
开源版本为2.2.0或以上的消息队列Kafka版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的消息队列Kafka版 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级...
为什么额外增加Topic要收费？
消息队列Kafka版优化了额外增加Topic所带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000之后，集群性能开始急剧下降。按照最常见的1个Topic对应24个分区的情况，单个集群对应不到50个Topic就开始遭遇...
是否支持Topic自动创建？
消息队列Kafka版部分支持Topic自动创建。消息队列Kafka版Topic自动创建请参见自动创建Topic。Topic自动创建，使用起来方便，运维起来却极其麻烦，且极易造成系统不稳定。消息队列Kafka版 的Topic还涉及一系列鉴权...
实例支持哪些开源版本？
本文介绍消息队列Kafka版实例支持哪些开源版本。消息队列Kafka版标准版实例：仅支持0.10.x，默认部署0.10.x，如需更高版本请先将实例升级为专业版，然后升级实例版本，详情请参见升级实例配置和 升级实例版本。消息...
控制台看到的最近消费时间是什么意思？
消息发布到消息队列Kafka版服务器的存储时间。控制台看到的最近消费时间是指消息发布到消息队列Kafka版 服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。
客户端首次接入如何排查问题？
您可以从网络连通、客户端版本、配置这三个方向进行排查...您的客户端首次接入消息队列Kafka版，通常会被以下三个问题困扰： 网络连通 客户端版本 配置 您可以从上述三个方向，一步一步排查，基本上可以解决99%的问题。
消息堆积了怎么办？
消息队列Kafka版 的消息是客户端主动去服务端拉取的，一般来说，因为是批量拉取机制，服务端拉取都不会是消费的瓶颈。消息堆积一般是消费速度过慢或者消费线程阻塞造成的。建议打印消费消息的耗时，或者查看堆栈信息...
Topic的存储有哪些类型？
云存储和Local存储。消息队列Kafka版实例支持云存储和Local存储。详情请参见存储引擎对比。
生产者会建立多少个到Broker的连接？
每个生产者通常会建立2个到...每个生产者通常会建立2个到Broker的TCP连接，一个TCP连接用于更新元数据，一个TCP连接用于发送消息。更多信息，请参见How are TCP Connections managed by kafka-clients scala library。
如何获取部署实例时需要的VPC信息？
可用区 说明 请根据该页面的可用区（A～G）在消息队列Kafka版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（VSwitch）显示在 可用区B，那么在消息队列Kafka版控制台中就相应地选择可用区B。
如何处理不活跃的Topic
登录消息队列Kafka版控制台。在顶部菜单栏，选择地域。在左侧导航栏，单击实例管理，单击需要查询的Kafka实例名称。在实例详情页面，单击左侧导航栏中的Topic管理。在Topic管理页面，找到目标Topic，在其操作列中...
如何进行发送消息的测试？
您可以直接在消息队列Kafka版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息 进行消息发送测试，以验证集群是否运转正常。
为什么限制Topic总数（分区总数）？
Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。消息队列Kafka版 的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。
为什么购买了按量付费实例后不使用也要收费？
按量付费模式与购买后是否实际使用无关。您在购买消息队列Kafka版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价× 服务时间计费的，与您购买后是否使用该实例无关。
自动化创建Topic相关问题
本文汇总了消息队列Kafka版关于自动创建Topic的相关问题。是否可以自动化创建Topic？可以，但不建议。消息队列Kafka版...通过阿里云控制台和OpenAPI管理Topic数据，目前不支持也不建议自动化创建Topic，主要原因如下： ...
消费端从服务端拉取不到消息或拉取消息缓慢
登录消息队列Kafka版控制台查询消息。如果能查询到消息，请继续尝试以下步骤。在监控报警页面，查看消费流量是否已达到网络带宽。如果消费流量已经达到网络带宽，您需要扩充网络带宽。检查Topic中是否存在单个消息的...
如何选择实例规格？
消息队列Kafka版提供两种实例规格：标准版和专业版。您可以根据自建迁移情况选择实例规格。标准版 流量规格：集群流量的总量÷3（优化） 磁盘大小：流量均值×存储时长×3（备份） Topic数量：根据实际业务需求 说明...
升级Broker可能产生哪些影响？
升级过程中，会逐个重启消息队列Kafka版 集群中所有的Broker。在重启Broker的过程中服务不会中断，但是从每个Broker重启完成之后的5分钟内消费的分区消息可能会发生乱序（设置为顺序消息的，则不会乱序，而是短暂的...
Topic删除后不能减少分区？
确保实例的内部版本为最新版 在消息队列Kafka版控制台，进入实例详情页面，在基本信息区域的内部版本的右侧，查看服务版本： 如果显示为最新版本，则无需处理。如果显示为服务版本升级，请单击服务版本升级，完成...
Consumer Group删除后依然可以收到消息？
将服务版本升级为最新版 将服务版本升级为最新版 在消息队列Kafka版控制台，进入实例详情页面，在基本信息区域的内部版本的右侧，查看服务版本： 如果显示为最新版本，则无需处理。如果显示为服务版本升级，请单击...
采购季云分期活动常见问题
云数据库MongoDB 云数据库HBase 云数据库PolarDB PG 云数据库SQL Server 云数据库MySQL 云数据库RDS 神龙裸金属服务器 SSC超算（超级计算集群）异构计算（GPU&FPGA）云邮箱 消息队列kafka EIP(IP地址）共享带宽 安全...
- 产品推荐
- 这些文档可能帮助您