阿里云消息队列Kafka版实现-阿里云消息队列Kafka版实现文档介绍内容-阿里云

自动创建Topic

自动创建Topic是指当云消息队列 Kafka 版实例发送请求以获取不存在的Topic元数据时，例如向不存在的Topic发送生产请求，云消息队列 Kafka 版可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景，无需手动重复创建Topic，...

如何进行发送消息的测试？

您可以直接在云消息队列 Kafka 版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息，进行消息发送测试，以验证集群是否运转正常。

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的云消息队列 Kafka 版 ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。更多信息，请参见 VPC...

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 Kafka 版提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。前提条件开通ARMS Prometheus监控服务 ...

为什么在控制台看不到Group的订阅关系？

问题现象您已启动某个Group的消费线程，但在云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，查不到Topic被Group订阅的信息，或者在 Group 详情页面的消费状态页签，查不到该Group订阅的Topic信息。可能原因客户端...

查看Rebalance详情

背景信息 Rebalance是云消息队列 Kafka 版对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因：当消费者主动新增订阅或者取消订阅时，会触发该Consumer Group内的Rebalance。当Topic的...

【通知】V2系列Serverless实例退市公告

云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护感谢您对云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

迁移消费者程序

本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到云消息队列 Kafka 版。背景信息云消息队列 Kafka 版控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步...

步骤三：创建资源

当使用云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

Topic引流

您在升级云消息队列 Kafka 版实例的流量规格时，可能会触发集群横向扩容。集群横向扩容完成后，您需要进行Topic引流，使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上，原有的Topic的峰值流量...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

消息队列Kafka版系统权限策略参考

本文描述消息队列Kafka版支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...

升级多可用区

前提条件您使用的云消息队列 Kafka 版实例类型为专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响该操作服务不会中断，但可能导致...

购买和部署实例

获取云消息队列 Kafka 版访问授权。步骤一：购买实例登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，然后单击购买实例。在请选择您要创建的实例的付费方式面板，选择实例系列为 Confluent ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

RAM跨云账号授权

背景信息企业A开通了云消息队列 Kafka 版，该企业需要企业B代为操作云消息队列 Kafka 版的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为云消息队列 Kafka 版所有者。企业A希望可以授权企业B来...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

SourceKafkaParameters

名称类型描述示例值 object EventBridge 消息队列 Kafka 版的自定义事件源参数 ConsumerGroup string 订阅该 Topic 的消费者所对应的 Group ID。DEFAULT_GROUP InstanceId string 消息队列 Kafka 版的实例的 ID。r-8vb64581862c*Network...

搭配云HBase和Spark构建一体化数据处理平台

实时计算：通过X-Pack Spark Streaming实时地消费云消息队列 Kafka 版的消息，写入到云HBase中对外提供在线查询。实时存储与检索：云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储，以及在线查询检索。批处理、数仓及算法：在线...

访问链接与端口

开启公网登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

续费操作

登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

实例支持哪些开源版本？

云消息队列 Kafka 版标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本，同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后，可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本，请参见升级实例版本...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

创建前提

AliyunKafkaFullAccess：管理云消息队列 Kafka 版的权限。AliyunFCFullAccess：管理函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...

云监控

前提条件创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以完成云监控和仪表盘相关功能。...

如何快速测试云消息队列 Kafka 版服务端是否正常？

在创建并部署云消息队列 Kafka 版实例后，您可以使用云消息队列 Kafka 版控制台直接发送消息，快速测试服务端是否正常。前提条件您已创建并部署云消息队列 Kafka 版实例，且实例处于服务中状态。操作流程快速测试云消息队列 ...

消息队列Kafka版

本文介绍如何在云消息队列 RocketMQ 版控制台创建流出目标为云消息队列 Kafka 版的消息流出任务。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源。您已购买并部署云消息队列 ...

为什么消息已经过期还未被删除？

问题现象您发送的消息在服务端...磁盘容量充足，使用率低于75%，云消息队列 Kafka 版设置的集中清理消息的时间还未到，消息不会被删除。说明磁盘使用率低于75%时，在每天凌晨4点，云消息队列 Kafka 版集中删除超过消息保留时长的消息。

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

SSL证书算法升级说明

前提条件您已购买云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

Ruby SDK收发消息

本文介绍如何使用Ruby SDK通过接入点接入云消息队列 Kafka 版并收发消息。环境准备您已安装Ruby。更多信息，请参见安装Ruby。安装Ruby依赖库执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备配置可选：下载SSL根...

按量计费转包年包月

前提条件您已购买并部署云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

续费操作

登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

C# SDK收发消息

本文介绍如何使用C#SDK通过接入点接入云消息队列 Kafka 版并收发消息。环境配置您已安装.NET。更多信息，请参见安装.NET 。安装C#依赖库执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置可选：下载...

云消息队列 Kafka 版支持被审计的事件说明

云消息队列 Kafka 版已与操作审计服务集成，您可以在操作审计中查询操作云消息队列 Kafka 版产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。事件...

阿里云消息队列Kafka版实现

新品推荐