升级实例配置
本文介绍如何在 云消息队列 Kafka 版 控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件 实例处于 服务中 或 未部署 状态。实例中没有进行中的Topic引流任务。注意事项 升级实例配置会引发集群逐台...
如何通过代理访问云消息队列 Kafka 版实例
概述 暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看 详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...
计费概述
说明 云消息队列 Kafka 版 的Connector组件依赖于 事件总线，云消息队列 Kafka 版 不会额外收取费用。事件总线 的计费说明，请参见 计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...
元数据导入
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
控制台看到的最近消费时间是什么意思？
消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。
仪表盘
云消息队列 Kafka 版 的所有指标数据已保存到您的阿里云可观测监控 Prometheus 版中，您可以通过 可观测监控 Prometheus 版 提供的API将 云消息队列 Kafka 版 的仪表盘的指标数据接入到本地自建Grafana中。具体操作，请参见 将Prometheus的...
是否支持Compact的日志清理策略？
开源版本为2.2.0或以上的 云消息队列 Kafka 版 实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见 升级大版本。
接入点对比
云消息队列 Kafka 版 提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；需要链路加密和消息鉴权，建议使用SSL...
为什么Group不存在但能消费消息？
问题现象 我在 云消息队列 Kafka 版 控制台 上，未查看到对应的Group，但此Group下却有消费线程在消费消息。可能原因 如果客户端使用 assign 方式消费消息，那么即使不创建Group，也可能消费消息。如果客户端使用 subscribe 方式消费消息，...
服务支持
本文汇总了 云消息队列 Kafka 版 的常见问题与以及服务等级协议。服务支持 常见问题 相关协议
为什么Group管理页面的Group变多了？
问题现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因 若Group的 自动创建 栏为 否，说明此Group创建于 云消息队列 Kafka 版 控制台 的 Group ...
查看消费明细
如果您对 云消息队列 Kafka 版 服务的消费情况产生疑问，可以查看消费明细。查看费用账单 登录 云消息队列 Kafka 版 控制台。在页面右上角，选择 费用>用户中心。在左侧导航栏，按需选择 账单管理 目录下的账单维度，查看您的消费信息。月...
迁移自建Kafka集群至新实例
您可以将自建Kafka集群元数据导出，然后导入 云消息队列 Kafka 版 实例，云消息队列 Kafka 版 会根据成功导入的元数据在目标 云消息队列 Kafka 版 实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...
查看任务执行记录
在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在 云消息队列 Kafka 版 控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件 创建并部署 云消息队列 Kafka 版 ...
查看任务执行记录
在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版 控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件 创建并部署 云消息队列 Kafka 版...
消息检索
当 云消息队列 Kafka 版 控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时，您可以使用 云消息队列 Kafka 版 消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...
基本概念
本文说明 云消息队列 Kafka 版 涉及的专有名词和术语，帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版...
实践教程
针对各种业务需求，云消息队列 Kafka 版 提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程 最佳实践 生态对接
使用Spring Cloud框架收发消息
本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版 并收发消息。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...
Topic的存储有哪些类型？
云存储和Local存储。云消息队列 Kafka 版 实例支持云存储和Local存储。详情请参见 存储引擎对比。
创建MQTT Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将 云消息队列 MQTT 版 中的数据快速导入至 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买...
创建RabbitMQ Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将 云消息队列 RabbitMQ 版 中的数据快速导入至 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和...
RAM跨云账号授权
背景信息 企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版 的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版 所有者。企业A希望可以授权企业B来...
将云消息队列 Kafka 版接入阿里云Elasticsearch
云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更...
接入Logstash
本文介绍如何将 云消息队列 Kafka 版 接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...
作为Output接入
云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...
作为Input接入
云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC...
生态对接概述
本文介绍 云消息队列 Kafka 版 支持对接的生态。阿里云生态 云数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...
Filebeat发送失败问题
问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...
迁移消费者程序
本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到 云消息队列 Kafka 版。背景信息 云消息队列 Kafka 版 控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步...
降低实例配置
如果您的 云消息队列 Kafka 版 实例的公网流量消耗远小于购买的公网流量配置，或者分区的使用量远小于购买的分区数量，您可以降低公网流量和分区数量配置，从而节约成本。本文介绍如何在 云消息队列 Kafka 版 控制台降低实例的公网流量、...
如何获取部署实例时需要的VPC信息？
在 交换机 页面，查看以下信息：交换机 实例ID/名称 专有网络 可用区 说明 请根据该页面的可用区（A～G）在 云消息队列 Kafka 版 控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在 可用区B，那么在 云消息队列 Kafka...
设置实例到期欠费预警提醒通知
欠费预警接收设置 登录 云消息队列 Kafka 版 控制台。单击页面右上方的 图标，进入 消息中心 页面。在左侧导航栏，单击 基本接收管理。在 基本接收管理 页面的 消息类型 中勾选 产品的欠费、停服、即将释放相关信息通知，单击 修改。在 ...
VPC接入
如果仅需要在VPC网络接入 云消息队列 Kafka 版，您可以购买并部署VPC实例。前提条件 已授予 云消息队列 Kafka 版 访问其他云服务资源的权限。具体信息，请参见 步骤一：获取访问授权。已搭建VPC网络。具体操作，请参见 创建和管理专有网络...
如何进行发送消息的测试？
您可以直接在 云消息队列 Kafka 版 控制台进行发送消息的测试。您可以在控制台的 Topic管理 页面，单击目标Topic右侧的 发送消息，进行消息发送测试，以验证集群是否运转正常。
公网和VPC接入
如果需要同时在VPC网络和公网接入 云消息队列 Kafka 版，您需要购买并部署公网/VPC实例。前提条件 已授予 云消息队列 Kafka 版 访问其他云服务资源的权限。具体信息，请参见 获取访问授权。已搭建VPC网络。具体操作，请参见 创建和管理专有...
开启ACL
云消息队列 Kafka 版 V2系列专业版 和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件 实例规格类型为V2系列专业版 或V3系列Serverless版。实例运行状态为 服务中。实例大...
查看Rebalance详情
背景信息 Rebalance是 云消息队列 Kafka 版 对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因：当消费者主动新增订阅或者取消订阅时，会触发该Consumer Group内的Rebalance。当Topic的...
为什么Group的状态一直处于“删除中”？
问题现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面删除Group后，此Group的状态一直处于 删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案 登录 云消息队列 Kafka 版 控制台，查看...
- 产品推荐
- 这些文档可能帮助您