读取Kafka数据示例-读取Kafka数据示例文档介绍内容-阿里云

产品架构

云消息队列 Kafka 版系统架构如 云消息队列 Kafka 版的系统架构所示，一个 云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版的系统架构 Producer 通过push模式向 云消息队列 Kafka 版...

迁移概述

迁移路由 云消息队列 Kafka 版提供全托管、免运维的实例迁移服务，用于自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...

云消息队列 Kafka 版服务等级协议

云消息队列 Kafka 版规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。

评估规格

使用说明 云消息队列 Kafka 版提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...

产品优势

云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...

退款说明

根据计费方式的特点，云消息队列 Kafka 版资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版资源如需退款，可在控制台上退订实例。详细信息，请参见实例生命周期管理。按量计费的 云消息队列 Kafka 版资源在使用后才支付费用，...

概述

云消息队列 Kafka 版快速入门操作流程操作步骤具体操作步骤如下：步骤一：获取访问授权步骤二：购买和部署实例 VPC接入公网和VPC接入步骤三：创建资源步骤四：使用SDK收发消息默认接入点收发消息 SSL接入点PLAIN机制收发消息视频...

为什么不能登录部署云消息队列 Kafka 版的机器？

云消息队列 Kafka 版提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版是全托管的，由 云消息队列 Kafka 版专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

步骤一：获取访问授权

开通 云消息队列 Kafka 版服务需要使用阿里云其他云产品中的资源，因此，您需要先授权 云消息队列 Kafka 版访问您所拥有的其他阿里云资源。前提条件注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。背景信息为了方便您快速...

产品概述

本文介绍 云消息队列 Kafka 版的产品动态、产品简介及产品计费。云消息队列 Kafka 版动态与公告产品简介产品计费云消息队列 Confluent 版什么是云消息队列 Confluent 版？产品计费

应用场景

本文介绍 云消息队列 Kafka 版的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 版的发布/订阅模型，您可以实时收集网站活动数据...

快速入门

如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门云消息队列 Confluent 版快速入门

查看接入点

如需使用SDK接入 云消息队列 Kafka 版收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版控制台查看接入点。背景信息 云消息队列 Kafka 版提供以下类型的接入点：默认接入点：适用于在VPC环境...

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...

使用ACL功能进行访问控制

背景信息企业A购买了 云消息队列 Kafka 版，企业A希望用户A只能从 云消息队列 Kafka 版的所有Topic中消费消息，而不能向 云消息队列 Kafka 版的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户，默认SASL用户仅...

我使用的Connector组件如何计费？

云消息队列 Kafka 版的Connector组件处于公测阶段，且独立于 云消息队列 Kafka 版实例，因此不会在 云消息队列 Kafka 版侧产生费用。同时阿里云不承诺Connector的SLA，Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

操作指南

您可以在 云消息队列 Kafka 版控制台创建实例、进行消息收发。云消息队列 Kafka 版 V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成迁移权限管理云消息队列 Confluent 版集群资源规格评估实例管理权限管理 ...

什么是云消息队列 Kafka 版？

三分钟了解阿里云 云消息队列 Kafka 版。

查看迁移进度

操作步骤重要 云消息队列 Kafka 版不支持数据迁移和位点迁移信息上报，即如果您已经开始数据迁移或位点迁移，您目前无法在 云消息队列 Kafka 版控制台查看迁移进度。登录 云消息队列 Kafka 版控制台。在概览页面的资源分布区域，...

是否支持压缩消息？

云消息队列 Kafka 版服务端支持收发压缩消息。如需使用压缩消息，您需要在 云消息队列 Kafka 版的客户端进行设置。在 云消息队列 Kafka 版客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...

控制台看到的最近消费时间是什么意思？

消息发布到 云消息队列 Kafka 版服务器的存储时间。控制台看到的最近消费时间是指消息发布到 云消息队列 Kafka 版服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。

查看接入点

如需使用客户端连接 云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

使用云消息队列 Kafka 版时出现“Not authorized to ...

问题描述使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因没有创建Consumer Group时会遇到此报错信息。解决方案您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...

新功能发布记录

新增使用限制计费规则欠费说明 2022-05-20 功能名称功能描述功能类型相关文档迁移路由支持自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步。新增迁移路由 2022-04-18 功能名称功能描述 ...

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云 云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

能否通过公网访问云消息队列 Kafka 版实例？

网络类型为公网/VPC的 云消息队列 Kafka 版实例支持通过公网访问。云消息队列 Kafka 版提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请购买公网/VPC实例。如果已购买VPC实例，请升级实例配置，变更VPC实例为公网/VPC实例。更...

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

为什么Group不存在但能消费消息？

问题现象我在 云消息队列 Kafka 版控制台上，未查看到对应的Group，但此Group下却有消费线程在消费消息。可能原因如果客户端使用 assign 方式消费消息，那么即使不创建Group，也可能消费消息。如果客户端使用 subscribe 方式消费消息，...

升级实例配置

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

如何快速使用云消息队列 Kafka 版的Java SDK收发消息

六分钟上手 云消息队列 Kafka 版。文档教程快速入门

为什么Group管理页面的Group变多了？

问题现象在 云消息队列 Kafka 版控制台的 Group 管理页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因若Group的自动创建栏为否，说明此Group创建于 云消息队列 Kafka 版控制台的 Group ...

是否支持延迟消息？

和开源Apache Kafka一样，云消息队列 Kafka 版同样不支持延迟消息。

如何通过代理访问云消息队列 Kafka 版实例

概述暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

计费概述

说明 云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...

无法ping通云消息队列 Kafka 版的接入点

问题描述无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时（Connection timed out）。问题原因为了保证安全，云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时，客户端与Kafka不在同一VPC下。解决...

如何获取部署实例时需要的VPC信息？

在交换机页面，查看以下信息：交换机实例ID/名称专有网络可用区说明请根据该页面的可用区（A～G）在 云消息队列 Kafka 版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在可用区B，那么在 云消息队列 Kafka...

服务支持

本文汇总了 云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

从自建MySQL同步至云消息队列 Kafka 版

通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至 云消息队列 Kafka 版，扩展消息处理能力。前提条件您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署 云消息队列 Kafka 版...

配置白名单

您可以设置访问 云消息队列 Kafka 版的白名单，配置在白名单中的IP地址与端口才允许访问 云消息队列 Kafka 版实例。前提条件您已购买 云消息队列 Kafka 版实例，且该实例处于服务中的状态。注意事项公网/VPC类型的实例默认白名单为0...

读取Kafka数据示例

新品推荐