kafka 产品-kafka 产品文档介绍内容-阿里云

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

创建RabbitMQ Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版的数据导出至云消息队列 RabbitMQ 版。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 Kafka 版提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。前提条件开通ARMS Prometheus监控服务 ...

【通知】V2系列Serverless实例退市公告

云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...

为什么在控制台看不到Group的订阅关系？

问题现象您已启动某个Group的消费线程，但在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，查不到Topic被Group订阅的信息，或者在 Group 详情页面的消费状态页签，查不到该Group订阅的Topic信息。可能原因客户端...

查看Rebalance详情

背景信息 Rebalance是 云消息队列 Kafka 版对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因：当消费者主动新增订阅或者取消订阅时，会触发该Consumer Group内的Rebalance。当Topic的...

发布者最佳实践

本文介绍 云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...

迁移消费者程序

本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到 云消息队列 Kafka 版。背景信息 云消息队列 Kafka 版控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步...

创建RocketMQ Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版的数据导出至云消息队列 RocketMQ 版。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源。您已...

步骤三：创建资源

当使用 云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

创建RocketMQ Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入任务，将云消息队列 RocketMQ 版的数据快速导入至 云消息队列 Kafka 版。前提条件您已购买Kafka实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您已...

创建MNS Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将 云消息队列 Kafka 版的数据导出至消息服务。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您...

生态对接概述

本文介绍 云消息队列 Kafka 版支持对接的生态。阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

访问链接与端口

开启公网登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

购买和部署实例

获取云消息队列 Kafka 版访问授权。步骤一：购买实例登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，然后单击购买实例。在请选择您要创建的实例的付费方式面板，选择实例系列为 Confluent ...

创建MNS Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入任务，将消息服务MNS 中的数据快速导入 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。...

Topic引流

您在升级 云消息队列 Kafka 版实例的流量规格时，可能会触发集群横向扩容。集群横向扩容完成后，您需要进行Topic引流，使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上，原有的Topic的峰值流量...

升级多可用区

前提条件您使用的 云消息队列 Kafka 版实例类型为专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响该操作服务不会中断，但可能导致...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

RAM跨云账号授权

背景信息企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版所有者。企业A希望可以授权企业B来...

API概览

本产品（云消息队列 Kafka 版/2019-09-16）的OpenAPI采用 RPC 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

搭配云HBase和Spark构建一体化数据处理平台

实时计算：通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 版的消息，写入到云HBase中对外提供在线查询。实时存储与检索：云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储，以及在线查询检索。批处理、数仓及算法：在线...

订阅者最佳实践

本文主要介绍 云消息队列 Kafka 版订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡每个 ...

实例支持哪些开源版本？

云消息队列 Kafka 版标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本，同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后，可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本，请参见升级实例版本...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从 云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

云监控

前提条件创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以完成云监控和仪表盘相关功能。...

如何快速测试云消息队列 Kafka 版服务端是否正常？

在创建并部署 云消息队列 Kafka 版实例后，您可以使用 云消息队列 Kafka 版控制台直接发送消息，快速测试服务端是否正常。前提条件您已创建并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。操作流程快速测试 云消息队列 ...

ACL授权

ACL授权登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在左侧导航栏，选择用户管理，单击目标用户右侧操作列的授权。配置项说明资源类型实例：对集群授权。Topic：对某一个...

为什么消息已经过期还未被删除？

问题现象您发送的消息在服务端...磁盘容量充足，使用率低于75%，云消息队列 Kafka 版设置的集中清理消息的时间还未到，消息不会被删除。说明磁盘使用率低于75%时，在每天凌晨4点，云消息队列 Kafka 版集中删除超过消息保留时长的消息。

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

SSL证书算法升级说明

前提条件您已购买 云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在 云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

按量计费转包年包月

前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

kafka 产品

新品推荐