为什么要使用kafka-为什么要使用kafka文档介绍内容-阿里云

退款说明

根据计费方式的特点，云消息队列 Kafka 版资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版资源如需退款，可在控制台上退订实例。详细信息，请参见实例生命周期管理。按量计费的 云消息队列 Kafka 版资源在使用后才支付费用，...

评估规格

使用说明 云消息队列 Kafka 版提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...

快速入门

如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门云消息队列 Confluent 版快速入门

概述

本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版快速入门操作流程操作步骤具体操作...

欠费说明

欠费影响如果您购买的为包年包月实例，实例到期后，您账户下的 云消息队列 Kafka 版服务会切换为已过期状态，即您将不能再继续使用 云消息队列 Kafka 版服务。如果您购买的为按量计费实例或弹性按量计费实例，当您的账户余额不足以...

使用ACL功能进行访问控制

云消息队列 Kafka 版使用SCRAM-SHA-256。密码 SASL用户的密码。确认密码确认SASL用户的密码。创建完成后，SASL 用户管理页签下方显示您创建的SASL用户。如果您需要更改SASL用户的密码，单击其操作列的修改密码。在修改SASL用户密码 ...

使用云消息队列 Kafka 版时出现“Not authorized to ...

问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因没有创建Consumer Group时会遇到此报错信息。解决方案您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

接入点对比

云消息队列 Kafka 版使用SCRAM-SHA-256加密算法实现身份校验，比PLAIN机制安全性更高，同样支持不重启实例的情况下动态增加SASL用户。SSL（Secure Sockets Layer）：用以保障数据传输过程的安全，采用数据加密技术，防止数据在网络传输...

产品架构

云消息队列 Kafka 版系统架构如 云消息队列 Kafka 版的系统架构所示，一个 云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版的系统架构 Producer 通过push模式向 云消息队列 Kafka 版...

云消息队列 Kafka 版服务等级协议

云消息队列 Kafka 版规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。

查看Rebalance详情

当消费客户端出现Rebalance时，您可以查看Rebalance的详情，包括Rebalance的时间、耗时、次数、原因以及...后续步骤当客户端频繁出现Rebalance时，您可以参考以下文档解决此问题：使用云消息队列 Kafka 版时消费客户端频繁出现Rebalance。

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

步骤三：创建资源

当使用 云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

仪表盘

前提条件开通ARMS Prometheus监控服务创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以...

如何快速测试云消息队列 Kafka 版服务端是否正常？

在创建并部署 云消息队列 Kafka 版实例后，您可以使用 云消息队列 Kafka 版控制台直接发送消息，快速测试服务端是否正常。前提条件您已创建并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。操作流程快速测试 云消息队列 ...

云监控

前提条件创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以完成云监控和仪表盘相关功能。...

为什么不能登录部署云消息队列 Kafka 版的机器？

云消息队列 Kafka 版提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版是全托管的，由 云消息队列 Kafka 版专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

产品概述

本文介绍 云消息队列 Kafka 版的产品动态、产品简介及产品计费。云消息队列 Kafka 版动态与公告产品简介产品计费云消息队列 Confluent 版什么是云消息队列 Confluent 版？产品计费

API概览

本产品（云消息队列 Kafka 版/2019-09-16）的OpenAPI采用 RPC 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...

我使用的Connector组件如何计费？

云消息队列 Kafka 版的Connector组件处于公测阶段，且独立于 云消息队列 Kafka 版实例，因此不会在 云消息队列 Kafka 版侧产生费用。同时阿里云不承诺Connector的SLA，Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

SDK概述

云消息队列 Kafka 版使用SCRAM-SHA-256加密算法实现身份校验，比PLAIN机制安全性更高，同样支持不重启实例的情况下动态增加SASL用户。关于接入点的详细信息，请参见接入点对比。Demo使用说明根据购买的实例信息选择Demo文件，通过配置后...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息以非公网的方式访问云消息队列 Kafka 版实例时，必须满足以下两个条件：ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内，请根据实际情况，重新创建或部署...

默认配置映射关系

源端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

使用云消息队列 Kafka 版时出现消息堆积

使用云消息队列 Kafka 版时，可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况，以及处理方法。客户端消费流程了解客户端消费流程，有助于理解...更多常见问题，请参见 云消息队列 Kafka 版使用中的常见问题。

Kafka数据接入

通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版实例的数据源Topic导出到表格存储（Tablestore）。前提条件 云消息队列 Kafka 版已为实例开启Connector。具体操作，请参见开启Connector。已为实例创建数据源Topic。更多...

什么是云消息队列 Kafka 版？

三分钟了解阿里云 云消息队列 Kafka 版。

Workers

使用 云消息队列 Kafka 版提供默认值的配置项：plugin.path rest.advertised.port topic.creation.enable listeners 不会传输至Kafka Connect的配置项。sasl.*ssl.*security.*rest.advertised.host.name rest.advertised.listener rest....

控制台看到的最近消费时间是什么意思？

消息发布到 云消息队列 Kafka 版服务器的存储时间。控制台看到的最近消费时间是指消息发布到 云消息队列 Kafka 版服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云 云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

验证迁移结果

迁移成功后，目标 云消息队列 Kafka 版实例下会创建对应的Topic和 Group。您可以在 Topic 管理和 Group 管理页面的列表中查看。前提条件您已将自建Kafka集群迁移至 云消息队列 Kafka 版实例中。迁移类型包括：通过命令行迁移迁移...

能否通过公网访问云消息队列 Kafka 版实例？

网络类型为公网/VPC的 云消息队列 Kafka 版实例支持通过公网访问。云消息队列 Kafka 版提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请购买公网/VPC实例。如果已购买VPC实例，请升级实例配置，变更VPC实例为公网/VPC实例。更...

如何快速使用云消息队列 Kafka 版的Java SDK收发消息

六分钟上手 云消息队列 Kafka 版。文档教程快速入门

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

为什么不推荐使用Sarama Go客户端收发消息？

问题现象所有Sarama Go版本客户端存在...如果发生了位点重置，产生大量堆积，您可以使用 云消息队列 Kafka 版控制台提供的重置消费位点功能，手动重置消费位点到某一时间点，无需改代码或换Consumer Group。具体操作，请参见重置消费位点。

跨集群复制数据

例如，要使用Kafka的控制台生产者发送一系列数字，请在新的终端窗口中运行以下命令：seq 10000|./bin/kafka-console-producer-topic test-topic-broker-list localhost:9082 你可以使用控制台消费者在它自己的终端窗口中确认目的地集群的...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

是否支持延迟消息？

和开源Apache Kafka一样，云消息队列 Kafka 版同样不支持延迟消息。

为什么要使用kafka

新品推荐