阿里云融合开源Kafka技术-阿里云融合开源Kafka技术文档介绍内容-阿里云

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。更多信息，请参见 VPC...

发布者最佳实践

本文介绍 云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

创建RabbitMQ Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版的数据导出至云消息队列 RabbitMQ 版。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

在Knative上实现Kafka消息推送

前提条件部署Knative 购买并部署 云消息队列 Kafka 版实例重要 云消息队列 Kafka 版实例和Knative必须处于同一VPC内。云消息队列 Kafka 版实例的版本必须为2.0.0或以上。创建Topic 创建 Group 背景信息 Knative是一款基于Kubernetes的...

查看Rebalance详情

背景信息 Rebalance是 云消息队列 Kafka 版对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因：当消费者主动新增订阅或者取消订阅时，会触发该Consumer Group内的Rebalance。当Topic的...

创建RocketMQ Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版的数据导出至云消息队列 RocketMQ 版。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源。您已...

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

创建RocketMQ Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入任务，将云消息队列 RocketMQ 版的数据快速导入至 云消息队列 Kafka 版。前提条件您已购买Kafka实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您已...

步骤三：创建资源

当使用 云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

购买和部署实例

获取云消息队列 Kafka 版访问授权。步骤一：购买实例登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，然后单击购买实例。在请选择您要创建的实例的付费方式面板，选择实例系列为 Confluent ...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 Kafka 版提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。前提条件开通ARMS Prometheus监控服务 ...

创建MNS Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版的数据导出至消息服务。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...

创建MNS Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入任务，将消息服务MNS 中的数据快速导入 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。...

访问链接与端口

开启公网登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

Topic引流

您在升级 云消息队列 Kafka 版实例的流量规格时，可能会触发集群横向扩容。集群横向扩容完成后，您需要进行Topic引流，使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上，原有的Topic的峰值流量...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

RAM跨云账号授权

背景信息企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版所有者。企业A希望可以授权企业B来...

升级多可用区

前提条件您使用的 云消息队列 Kafka 版实例类型为专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响该操作服务不会中断，但可能导致...

订阅者最佳实践

本文主要介绍 云消息队列 Kafka 版订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡每个 ...

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从 云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

云监控

前提条件创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以完成云监控和仪表盘相关功能。...

为什么消息已经过期还未被删除？

问题现象您发送的消息在服务端...磁盘容量充足，使用率低于75%，云消息队列 Kafka 版设置的集中清理消息的时间还未到，消息不会被删除。说明磁盘使用率低于75%时，在每天凌晨4点，云消息队列 Kafka 版集中删除超过消息保留时长的消息。

服务关联角色

本文介绍 云消息队列 Kafka 版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息服务关联角色是某个云服务在某些情况下，为了完成自身的某个功能，需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

如何快速测试云消息队列 Kafka 版服务端是否正常？

在创建并部署 云消息队列 Kafka 版实例后，您可以使用 云消息队列 Kafka 版控制台直接发送消息，快速测试服务端是否正常。前提条件您已创建并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。操作流程快速测试 云消息队列 ...

SSL证书算法升级说明

前提条件您已购买 云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在 云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

ACL授权

ACL授权登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在左侧导航栏，选择用户管理，单击目标用户右侧操作列的授权。配置项说明资源类型实例：对集群授权。Topic：对某一个...

创建前提

AliyunKafkaFullAccess：管理 云消息队列 Kafka 版的权限。AliyunFCFullAccess：管理函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...

C# SDK收发消息

本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置您已安装.NET。更多信息，请参见安装.NET 。安装C#依赖库执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置可选：下载...

按量计费转包年包月

前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

实例规格配置和管理

前提条件您已购买 云消息队列 Kafka 版 V3系列Serverless实例，且实例处于服务中状态。规格配置说明配置项含义变更方式流量规格发送能力预留消息生产预留规格，生产弹性上限为此数值的2倍，超出生产弹性上限的部分将会被限流。...

Ruby SDK收发消息

本文介绍如何使用Ruby SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装Ruby。更多信息，请参见安装Ruby。安装Ruby依赖库执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备配置可选：下载SSL根...

重置消费位点

前提条件已停止所有Consumer客户端（云消息队列 Kafka 版不支持在线重置消费位点）。重要在停止Consumer客户端后，需要经过 ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG 配置的时间（默认10000 ms），服务端才认为Consumer真正下线。背景...

消息查询

注意事项查询到的每条消息在 云消息队列 Kafka 版控制台上最多显示1 KB的内容，超过1 KB的部分将自动截断。如需查看完整的消息内容，请下载相应的消息，下载的消息最大为10 MB，如果超过10 MB，则只下载10 MB的内容。查询结果最多显示10...

阿里云融合开源Kafka技术

新品推荐