作为Output接入
云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...
基于Flink的资讯场景实时数仓
部署架构图 选用的产品 云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云基于Apache Kafka构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的...
创建RocketMQ Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入任务，将 云消息队列 RocketMQ 版 的数据快速导入至 云消息队列 Kafka 版。前提条件 您已购买Kafka实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。您已...
接入Logstash
本文介绍如何将 云消息队列 Kafka 版 接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...
创建MNS Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流入任务，将 消息服务MNS 中的数据快速导入 云消息队列 Kafka 版。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。...
作为Input接入
云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC...
迁移自建Kafka集群至新实例
您可以将自建Kafka集群元数据导出，然后导入 云消息队列 Kafka 版 实例，云消息队列 Kafka 版 会根据成功导入的元数据在目标 云消息队列 Kafka 版 实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...
VPC接入
如果仅需要在VPC网络接入 云消息队列 Kafka 版，您可以购买并部署VPC实例。前提条件 已授予 云消息队列 Kafka 版 访问其他云服务资源的权限。具体信息，请参见 步骤一：获取访问授权。已搭建VPC网络。具体操作，请参见 创建和管理专有网络...
作为Output接入
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。更多信息，请参见 VPC...
生态对接概述
本文介绍 云消息队列 Kafka 版 支持对接的生态。阿里云生态 云数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...
使用Kafka Connect将SQL Server数据同步至云消息队列 ...
本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件 在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...
创建RocketMQ Sink Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。您已...
发布者最佳实践
本文介绍 云消息队列 Kafka 版 发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息 发送消息的示例代码如下：Future...
续费操作
登录 云消息队列 Kafka 版 控制台，在 概览 页面的 资源分布 区域，选择地域。在 实例列表 页面，单击目标实例名称。在 实例详情 页面，单击 概览 区域右上角的 续费。在 续费 面板，选择购买时长，并选中 消息队列 Kafka（包年包月）服务...
降低实例配置
如果您的 云消息队列 Kafka 版 实例的公网流量消耗远小于购买的公网流量配置，或者分区的使用量远小于购买的分区数量，您可以降低公网流量和分区数量配置，从而节约成本。本文介绍如何在 云消息队列 Kafka 版 控制台降低实例的公网流量、...
消息队列Kafka版系统权限策略参考
本文描述消息队列Kafka版支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...
开启ACL
云消息队列 Kafka 版 V2系列专业版 和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件 实例规格类型为V2系列专业版 或V3系列Serverless版。实例运行状态为 服务中。实例大...
公网和VPC接入
如果需要同时在VPC网络和公网接入 云消息队列 Kafka 版，您需要购买并部署公网/VPC实例。前提条件 已授予 云消息队列 Kafka 版 访问其他云服务资源的权限。具体信息，请参见 获取访问授权。已搭建VPC网络。具体操作，请参见 创建和管理专有...
为什么Group管理页面的Group变多了？
问题现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因 若Group的 自动创建 栏为 否，说明此Group创建于 云消息队列 Kafka 版 控制台 的 Group ...
步骤三：创建资源
当使用 云消息队列 Kafka 版 进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...
作为Input接入
云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 ...
使用Spring Cloud框架收发消息
本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版 并收发消息。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...
自动创建Topic
自动创建Topic是指当 云消息队列 Kafka 版 实例发送请求以获取不存在的Topic元数据时，例如向不存在的Topic发送生产请求，云消息队列 Kafka 版 可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景，无需手动重复创建Topic，...
Topic的存储有哪些类型？
云存储和Local存储。云消息队列 Kafka 版 实例支持云存储和Local存储。详情请参见 存储引擎对比。
使用云消息队列 Kafka 版时客户端的报错及解决方案
在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权（sasl.mechanisms）...
Filebeat发送失败问题
问题现象 在 云消息队列 Kafka 版 控制台 的 Topic 管理 页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...
查看Rebalance详情
背景信息 Rebalance是 云消息队列 Kafka 版 对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因：当消费者主动新增订阅或者取消订阅时，会触发该Consumer Group内的Rebalance。当Topic的...
迁移消费者程序
本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到 云消息队列 Kafka 版。背景信息 云消息队列 Kafka 版 控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步...
在Knative上实现Kafka消息推送
前提条件 部署Knative 购买并部署 云消息队列 Kafka 版 实例 重要 云消息队列 Kafka 版 实例和Knative必须处于同一VPC内。云消息队列 Kafka 版 实例的版本必须为2.0.0或以上。创建Topic 创建 Group 背景信息 Knative是一款基于Kubernetes的...
如何进行发送消息的测试？
您可以直接在 云消息队列 Kafka 版 控制台进行发送消息的测试。您可以在控制台的 Topic管理 页面，单击目标Topic右侧的 发送消息，进行消息发送测试，以验证集群是否运转正常。
消息队列Kafka版
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建流出目标为 云消息队列 Kafka 版 的消息流出任务。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。您已购买并部署 云消息队列 ...
升级多可用区
前提条件 您使用的 云消息队列 Kafka 版 实例类型为 专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响 该操作服务不会中断，但可能导致...
作为Output接入
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 ...
设置实例到期欠费预警提醒通知
欠费预警接收设置 登录 云消息队列 Kafka 版 控制台。单击页面右上方的 图标，进入 消息中心 页面。在左侧导航栏，单击 基本接收管理。在 基本接收管理 页面的 消息类型 中勾选 产品的欠费、停服、即将释放相关信息通知，单击 修改。在 ...
创建前提
AliyunKafkaFullAccess：管理 云消息队列 Kafka 版 的权限。AliyunFCFullAccess：管理 函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理 事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...
如何快速测试云消息队列 Kafka 版服务端是否正常？
在创建并部署 云消息队列 Kafka 版 实例后，您可以使用 云消息队列 Kafka 版 控制台直接发送消息，快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...
Topic引流
您在升级 云消息队列 Kafka 版 实例的流量规格时，可能会触发集群横向扩容。集群横向扩容完成后，您需要进行Topic引流，使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上，原有的Topic的峰值流量...
使用Canal将MySQL的数据同步至云消息队列 Kafka 版
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...
访问链接与端口
开启公网 登录 云消息队列 Kafka 版 控制台，在左侧导航栏，单击 实例列表。在顶部菜单栏，选择地域，在 实例列表 页面单击目标实例名称。在左侧导航栏，单击 访问链接与端口。在目标服务右侧，打开 开启 开关，为服务开启公网。说明 开启...
- 产品推荐
- 这些文档可能帮助您