kafka 消息队列-kafka 消息队列文档介绍内容-阿里云

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

评估规格

使用说明 云消息队列 Kafka 版提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...

迁移Topic上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版实例...

操作指南

您可以在 云消息队列 Kafka 版控制台创建实例、进行消息收发。云消息队列 Kafka 版 V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成迁移权限管理云消息队列 Confluent 版集群资源规格评估实例管理权限管理 ...

云上迁移Topic

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的Topic迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

使用ACL功能进行访问控制

背景信息企业A购买了 云消息队列 Kafka 版，企业A希望用户A只能从 云消息队列 Kafka 版的所有Topic中消费消息，而不能向 云消息队列 Kafka 版的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户，默认SASL用户仅...

是否支持延迟消息？

和开源Apache Kafka一样，云消息队列 Kafka 版同样不支持延迟消息。

云上迁移Group

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的 Group 迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具JAR文件重要迁移不会删除源 云消息队列 ...

步骤一：获取访问授权

开通 云消息队列 Kafka 版服务需要使用阿里云其他云产品中的资源，因此，您需要先授权 云消息队列 Kafka 版访问您所拥有的其他阿里云资源。前提条件注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。背景信息为了方便您快速...

常见问题

使用云消息队列 Kafka 版时客户端的报错及解决方案无法ping通云消息队列 Kafka 版的接入点客户端消费问题订阅者最佳实践客户端首次接入云消息队列 Kafka 版时出现异常的排查方法使用云消息队列 Kafka 版时出现消息堆积为什么消费客户...

迁移数据上云

云消息队列 Kafka 版集群的SSL接入点（可在 云消息队列 Kafka 版控制台获取）bootstrap.servers=XXX.XXX.XXX.XXX:9093#数据压缩方式 compression.type=none#truststore（使用步骤1下载的文件）ssl.truststore.location=kafka.client....

查看接入点

如需使用客户端连接 云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

接入Logstash

本文介绍如何将 云消息队列 Kafka 版接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...

配置白名单

您可以设置访问 云消息队列 Kafka 版的白名单，配置在白名单中的IP地址与端口才允许访问 云消息队列 Kafka 版实例。前提条件您已购买 云消息队列 Kafka 版实例，且该实例处于服务中的状态。注意事项公网/VPC类型的实例默认白名单为0...

C# SDK收发消息

本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置您已安装.NET。更多信息，请参见安装.NET 。安装C#依赖库执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置可选：下载...

创建RabbitMQ Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 RabbitMQ 版中的数据快速导入至 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从 云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 VPC...

创建MQTT Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 MQTT 版中的数据快速导入至 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买...

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云 云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

查看消费明细

如果您对 云消息队列 Kafka 版服务的消费情况产生疑问，可以查看消费明细。查看费用账单登录 云消息队列 Kafka 版控制台。在页面右上角，选择费用>用户中心。在左侧导航栏，按需选择账单管理目录下的账单维度，查看您的消费信息。月...

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

SDK概述

本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

验证迁移结果

迁移成功后，目标 云消息队列 Kafka 版实例下会创建对应的Topic和 Group。您可以在 Topic 管理和 Group 管理页面的列表中查看。前提条件您已将自建Kafka集群迁移至 云消息队列 Kafka 版实例中。迁移类型包括：通过命令行迁移迁移...

在Knative上实现Kafka消息推送

适用场景在线短任务处理 AI音视频消息处理监控告警数据格式转换操作流程在Knative上实现 云消息队列 Kafka 版消息推送的操作流程如下图所示。部署Kafka组件登录容器服务控制台。在左侧导航栏，单击集群。在集群列表页面，单击要...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署 云消息队列 Kafka 版...

自由使用Group

前提条件您已购买并部署 云消息队列 Kafka 版实例，且该实例必须满足以下条件：项目说明状态服务中。版本大版本为2.2.0，且小版本为最新版本。说明您可以在 云消息队列 Kafka 版控制台的实例详情页面的基础信息区域查看实例的...

迁移自建Kafka集群至新实例

您可以将自建Kafka集群元数据导出，然后导入 云消息队列 Kafka 版实例，云消息队列 Kafka 版会根据成功导入的元数据在目标 云消息队列 Kafka 版实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据使用元数据...

生态对接概述

本文介绍 云消息队列 Kafka 版支持对接的生态。阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

发布者最佳实践

本文介绍 云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

VPC接入

如果仅需要在VPC网络接入 云消息队列 Kafka 版，您可以购买并部署VPC实例。前提条件已授予 云消息队列 Kafka 版访问其他云服务资源的权限。具体信息，请参见步骤一：获取访问授权。已搭建VPC网络。具体操作，请参见创建和管理专有网络...

服务支持

本文汇总了 云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

创建RabbitMQ Sink Connector

MQ_INST_115964845466*_ByBeUp3p Topic 选择生产 云消息队列 Kafka 版消息的Topic。topic Group ID 选择源实例的消费组名称。请使用独立的消费组来创建事件源，不要和已有的业务混用消费组，以免影响已有的消息收发。GID_http_1 并发配额...

API概览

本产品（云消息队列 Kafka 版/2019-09-16）的OpenAPI采用 RPC 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 VPC...

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...

管理Kafka自定义连接器

计费说明 Kafka自定义连接器独立于 云消息队列 Kafka 版实例，因此不会在 云消息队列 Kafka 版侧产生费用。同时，阿里云不承诺Kafka自定义连接器的SLA，使用时所依赖的 Serverless 应用引擎的费用说明，请参见按量计费。前提条件开通...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。更多信息，请参见 VPC...

kafka 消息队列

新品推荐