阿里云融合开源Kafka技术-阿里云融合开源Kafka技术文档介绍内容-阿里云

升级实例配置

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

创建Kafka Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将指定 云消息队列 Kafka 版实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见...

创建Kafka Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将指定 云消息队列 Kafka 版实例中的数据快速导入至另外的 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请...

如何快速使用云消息队列 Kafka 版的Java SDK收发消息

六分钟上手 云消息队列 Kafka 版。文档教程快速入门

迁移数据上云

云消息队列 Kafka 版集群的SSL接入点（可在 云消息队列 Kafka 版控制台获取）bootstrap.servers=XXX.XXX.XXX.XXX:9093#数据压缩方式 compression.type=none#truststore（使用步骤1下载的文件）ssl.truststore.location=kafka.client....

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...

计费概述

说明 云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...

自由使用Group

前提条件您已购买并部署 云消息队列 Kafka 版实例，且该实例必须满足以下条件：项目说明状态服务中。版本大版本为2.2.0，且小版本为最新版本。说明您可以在 云消息队列 Kafka 版控制台的实例详情页面的基础信息区域查看实例的...

云上迁移Topic

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的Topic迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云...

无法ping通云消息队列 Kafka 版的接入点

问题描述无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时（Connection timed out）。问题原因为了保证安全，云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时，客户端与Kafka不在同一VPC下。解决...

如何通过代理访问云消息队列 Kafka 版实例

概述暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

服务支持

本文汇总了 云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

查看任务执行记录

在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在 云消息队列 Kafka 版控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件创建并部署 云消息队列 Kafka 版 ...

消息检索

当 云消息队列 Kafka 版控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时，您可以使用 云消息队列 Kafka 版消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...

如何获取部署实例时需要的VPC信息？

在交换机页面，查看以下信息：交换机实例ID/名称专有网络可用区说明请根据该页面的可用区（A～G）在 云消息队列 Kafka 版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在可用区B，那么在 云消息队列 Kafka...

配置白名单

您可以设置访问 云消息队列 Kafka 版的白名单，配置在白名单中的IP地址与端口才允许访问 云消息队列 Kafka 版实例。前提条件您已购买 云消息队列 Kafka 版实例，且该实例处于服务中的状态。注意事项公网/VPC类型的实例默认白名单为0...

Topic的存储有哪些类型？

云存储和Local存储。云消息队列 Kafka 版实例支持云存储和Local存储。详情请参见存储引擎对比。

查看消费明细

如果您对 云消息队列 Kafka 版服务的消费情况产生疑问，可以查看消费明细。查看费用账单登录 云消息队列 Kafka 版控制台。在页面右上角，选择费用>用户中心。在左侧导航栏，按需选择账单管理目录下的账单维度，查看您的消费信息。月...

元数据导入

本文介绍如何在 云消息队列 Kafka 版控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版已有实例。前提条件下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例购买并部署公网/VPC实例说明购买实例的规格可...

为什么Group的状态一直处于“删除中”？

问题现象在 云消息队列 Kafka 版控制台的 Group 管理页面删除Group后，此Group的状态一直处于删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案登录 云消息队列 Kafka 版控制台，查看...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署 云消息队列 Kafka 版...

开发参考

本文介绍 云消息队列 Kafka 版的SDK和API及Terraform的支持情况，供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform

创建RabbitMQ Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 RabbitMQ 版中的数据快速导入至 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

实践教程

针对各种业务需求，云消息队列 Kafka 版提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程最佳实践生态对接

创建MQTT Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 MQTT 版中的数据快速导入至 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买...

设置实例到期欠费预警提醒通知

欠费预警接收设置登录 云消息队列 Kafka 版控制台。单击页面右上方的图标，进入消息中心页面。在左侧导航栏，单击基本接收管理。在基本接收管理页面的消息类型中勾选产品的欠费、停服、即将释放相关信息通知，单击修改。在 ...

使用Kafka Connect将SQL Server数据同步至云消息队列 ...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

报警项状态显示数据不足怎么办？

可能原因老版 云消息队列 Kafka 版实例不支持报警数据上报。解决方案登录 云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击配置信息页签，然后单击...

Filebeat发送失败问题

问题现象在 云消息队列 Kafka 版控制台的 Topic 管理页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...

降低实例配置

如果您的 云消息队列 Kafka 版实例的公网流量消耗远小于购买的公网流量配置，或者分区的使用量远小于购买的分区数量，您可以降低公网流量和分区数量配置，从而节约成本。本文介绍如何在 云消息队列 Kafka 版控制台降低实例的公网流量、...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 版发送消息。前提条件购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...

为什么在控制台看不到Group的订阅关系？

问题现象您已启动某个Group的消费线程，但在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，查不到Topic被Group订阅的信息，或者在 Group 详情页面的消费状态页签，查不到该Group订阅的Topic信息。可能原因客户端...

【通知】V2系列Serverless实例退市公告

云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从 云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 VPC...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 VPC...

如何进行发送消息的测试？

您可以直接在 云消息队列 Kafka 版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息，进行消息发送测试，以验证集群是否运转正常。

自动创建Topic

自动创建Topic是指当 云消息队列 Kafka 版实例发送请求以获取不存在的Topic元数据时，例如向不存在的Topic发送生产请求，云消息队列 Kafka 版可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景，无需手动重复创建Topic，...

迁移上云

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与 云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件您已购买并部署 云消息队列...

阿里云融合开源Kafka技术

新品推荐