大数据组件kafka-大数据组件kafka文档介绍内容-阿里云

为什么Group的状态一直处于“删除中”？

问题现象在 云消息队列 Kafka 版控制台的 Group 管理页面删除Group后，此Group的状态一直处于删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案登录 云消息队列 Kafka 版控制台，查看...

实践教程

针对各种业务需求，云消息队列 Kafka 版提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程最佳实践生态对接

设置实例到期欠费预警提醒通知

欠费预警接收设置登录 云消息队列 Kafka 版控制台。单击页面右上方的图标，进入消息中心页面。在左侧导航栏，单击基本接收管理。在基本接收管理页面的消息类型中勾选产品的欠费、停服、即将释放相关信息通知，单击修改。在 ...

Filebeat发送失败问题

问题现象在 云消息队列 Kafka 版控制台的 Topic 管理页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...

为什么在控制台看不到Group的订阅关系？

问题现象您已启动某个Group的消费线程，但在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，查不到Topic被Group订阅的信息，或者在 Group 详情页面的消费状态页签，查不到该Group订阅的Topic信息。可能原因客户端...

如何进行发送消息的测试？

您可以直接在 云消息队列 Kafka 版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息，进行消息发送测试，以验证集群是否运转正常。

迁移数据上云

云消息队列 Kafka 版集群的SSL接入点（可在 云消息队列 Kafka 版控制台获取）bootstrap.servers=XXX.XXX.XXX.XXX:9093#数据压缩方式 compression.type=none#truststore（使用步骤1下载的文件）ssl.truststore.location=kafka.client....

云监控

查看云监控数据登录 云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在左侧导航栏，选择可观测>云监控。在云监控页面，单击报警规则页签，单击要查看监控数据的资源页签...

查看Rebalance详情

背景信息 Rebalance是 云消息队列 Kafka 版对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因：当消费者主动新增订阅或者取消订阅时，会触发该Consumer Group内的Rebalance。当Topic的...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

计费概述

说明 云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...

访问链接与端口

开启公网登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

RAM跨云账号授权

背景信息企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版所有者。企业A希望可以授权企业B来...

创建SLS Sink Connector

本文介绍如何创建使用SLS Sink Connector，您可通过SLS Sink Connector将数据从 云消息队列 Kafka 版实例的数据源Topic导出至日志服务SLS。前提条件详细步骤，请参见创建前提。步骤一：创建目标服务资源创建日志项目（Project）。详细...

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

实例支持哪些开源版本？

云消息队列 Kafka 版标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本，同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后，可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本，请参见升级实例版本...

创建前提

AliyunKafkaFullAccess：管理 云消息队列 Kafka 版的权限。AliyunFCFullAccess：管理函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...

ACL授权

ACL授权登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在左侧导航栏，选择用户管理，单击目标用户右侧操作列的授权。配置项说明资源类型实例：对集群授权。Topic：对某一个...

SSL证书算法升级说明

前提条件您已购买 云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在 云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

C# SDK收发消息

本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置您已安装.NET。更多信息，请参见安装.NET 。安装C#依赖库执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置可选：下载...

按量计费转包年包月

前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

Ruby SDK收发消息

本文介绍如何使用Ruby SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装Ruby。更多信息，请参见安装Ruby。安装Ruby依赖库执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备配置可选：下载SSL根...

使用Kafka Connect将SQL Server数据同步至云消息队列 ...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

管理预警联系人

添加预警联系人登录 云消息队列 Kafka 版控制台。在左侧导航栏，选择常用工具/链接>预警联系人。在预警联系人页面，单击添加联系人。在添加联系人面板，填写以下信息，然后单击确定。参数描述姓名联系人姓名。手机号码联系人...

续费操作

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

新增分区时对应的Topic数量额度

可使用的Topic数量与总分区数强相关。例如，您已购买了分区数为50、流量规格为alikafka.hw.2xlarge、规格内赠送分区数为1000的实例，那么该...云消息队列 Kafka 版 Serverless实例不受此项限制。购买分区的操作步骤，请参见升级实例配置。

用户管理

查看用户列表登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在实例详情页面，单击左侧操作栏的用户管理，查看所有用户列表。新增用户在用户管理页面，单击添加LDAP用户。在...

如何处理不活跃的Topic

上述2个关键指标可通过下列2种方式获取：通过管理控制台查看Topic信息登录 云消息队列 Kafka 版控制台。在顶部菜单栏，选择地域。在左侧导航栏，单击实例列表，单击需要查询的Kafka实例名称。在实例详情页面，单击左侧导航栏中的 Topic...

标签管理

本文介绍如何为 云消息队列 Kafka 版的实例、Topic、Group 等资源绑定标签，从而帮助您根据标签给资源归类，高效管理资源。背景信息标签由标签键和标签值组成，可以标记 云消息队列 Kafka 版的资源。如果您的账号下有多种 云消息队列 ...

续费操作

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

为什么在控制台看不到消费者的客户端信息？

问题现象在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，或者在 Group 详情页面的消费状态页签，查看消费详情中的客户端信息为 n/a。可能原因订阅该Topic分区的消费线程已经离线。Group触发Rebalance机制。...

Python SDK收发消息

本文介绍如何使用Python SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备安装Python 说明 Python版本为2.7或3.X。安装pip 添加Python依赖库执行以下命令安装依赖库。pip install confluent-kafka=1.9.2 重要建议您安装...

RBAC授权

在Control Center页面进行RBAC授权登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在实例详情页面，单击右上角的登录控制台。在集群Control Center页面，在右上角选择>Manage ...

PHP SDK收发消息

说明如果实例未开启ACL，您可以在 云消息队列 Kafka 版控制台的实例详情页面的配置信息区域获取默认的用户名和密码。如果实例已开启ACL，请确保要使用的SASL用户已被授予向 云消息队列 Kafka 版实例收发消息的权限。具体操作，...

开启幂等功能，发送消息报“Cluster authorization ...

说明 云消息队列 Kafka 版客户端版本在V3.0及以上默认开启幂等功能（即 enable.idempotence=true）。为Cluster添加ACL相关权限，在控制台SASL权限管理页面添加对相应用户的Cluster资源类型的幂等写权限（IDEMPOTENT_WRITE）。更多信息，请...

RAM主子账号授权

背景信息企业A开通了 云消息队列 Kafka 版服务，该企业需要员工操作 云消息队列 Kafka 版服务所涉及的资源，例如实例、Topic、Consumer Group。由于每个员工的工作职责不一样，需要的权限也不一样。企业A的需求如下：出于安全或信任的...

升级Broker可能产生哪些影响？

升级Broker可能产生以下影响：升级过程中，会逐个重启 云消息队列 Kafka 版集群中所有的Broker。在重启Broker的过程中服务不会中断，但是从每个Broker重启完成之后的5分钟内消费的分区消息可能会发生乱序。重启过程中已有的客户端连接可能...

升降配管理

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配或降配，配置项包括规格类型、实例类型、发送能力预留和订阅能力预留等。前提条件实例处于服务中或未部署状态。升降配说明为保障在预留规格生效时间内升配或者降配至预设容量...

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势 云消息队列 Kafka 版针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了云...

大数据 组件kafka

新品推荐

大数据组件kafka