空间接口配置
接口类型 选择 阿里云消息队列Kafka 或 开源Kafka。说明 阿里云消息队列Kafka的End Point等信息可以从其实例详情页面获取。版本 选择Kafka的版本，支持0.10或2.X版。End Point 填写接收消息的终端地址。用户名 请填写用户名。密码 请填写...
默认配置映射关系
源端类型 模式 值 云消息队列 Kafka 版 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...
迁移消费者程序
本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到 云消息队列 Kafka 版。背景信息 云消息队列 Kafka 版 控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步...
为什么Group管理页面的Group变多了？
问题现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因 若Group的 自动创建 栏为 否，说明此Group创建于 云消息队列 Kafka 版 控制台 的 Group ...
空间接口配置
接口类型 选择 阿里云消息队列Kafka 或 开源Kafka。说明 阿里云消息队列Kafka的End Point等信息可以从其实例详情页面获取。版本 选择Kafka的版本，支持0.10或2.x版。End Point 填写接收消息的终端地址。用户名 请填写用户名。密码 请填写...
为什么在控制台看不到Group的订阅关系？
问题现象 您已启动某个Group的消费线程，但在 云消息队列 Kafka 版 控制台 的 Topic 详情 页面的 订阅关系 页签，查不到Topic被Group订阅的信息，或者在 Group 详情 页面的 消费状态 页签，查不到该Group订阅的Topic信息。可能原因 客户端...
查看任务执行记录
在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在 云消息队列 Kafka 版 控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件 创建并部署 云消息队列 Kafka 版 ...
RAM主子账号授权
背景信息 企业A开通了 云消息队列 Kafka 版 服务，该企业需要员工操作 云消息队列 Kafka 版 服务所涉及的资源，例如实例、Topic、Consumer Group。由于每个员工的工作职责不一样，需要的权限也不一样。企业A的需求如下：出于安全或信任的...
创建RabbitMQ Sink Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 云消息队列 RabbitMQ 版。前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且实例处于服务中状态。具体步骤，请参见 步骤二：购买和...
创建RocketMQ Sink Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 云消息队列 RocketMQ 版。前提条件 您已购买 云消息队列 RocketMQ 版 实例，且实例处于 服务中 状态。具体步骤，请参见 创建资源。您已...
迁移Group上云
本文介绍如何使用 云消息队列 Kafka 版 提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版 实例。前提条件 您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...
基于事件流实现Kafka消息路由
源端 云消息队列 Kafka 版 生产的消息可以通过事件流这个通道被路由到目标端的 云消息队列 Kafka 版，无需定义事件总线。更多信息，请参见 事件流概述。支持地域 支持在 云消息队列 Kafka 版 之间创建事件流的地域有：华东2（上海）、华北2...
默认配置映射关系
目标端类型 模式 值 云消息队列 Kafka 版 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...
默认配置映射关系
目标端类型 模式 值 云消息队列 Kafka 版 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...
默认配置映射关系
目标端类型 模式 值 云消息队列 Kafka 版 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...
创建MQTT Source Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建流入任务，将 云消息队列 MQTT 版 中的数据快速导入至 云消息队列 Kafka 版 实例中。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买...
使用Canal将MySQL的数据同步至云消息队列 Kafka 版
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...
创建MNS Sink Connector
本文介绍如何在 云消息队列 Kafka 版 控制台创建消息流出任务，将 云消息队列 Kafka 版 的数据导出至 消息服务。前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。您...
是否支持压缩消息？
云消息队列 Kafka 版 服务端支持收发压缩消息。如需使用压缩消息，您需要在 云消息队列 Kafka 版 的客户端进行设置。在 云消息队列 Kafka 版 客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...
查看消费明细
如果您对 云消息队列 Kafka 版 服务的消费情况产生疑问，可以查看消费明细。查看费用账单 登录 云消息队列 Kafka 版 控制台。在页面右上角，选择 费用>用户中心。在左侧导航栏，按需选择 账单管理 目录下的账单维度，查看您的消费信息。月...
如何选择实例规格？
云消息队列 Kafka 版 提供两种实例规格类型：标准版和专业版。您可以根据自建迁移情况选择实例规格。标准版 流量规格：集群流量的总量÷3（优化）磁盘大小：流量均值×存储时长×3（备份）分区数量：根据实际业务需求 说明 建议您在迁移...
无法ping通云消息队列 Kafka 版的接入点
问题描述 无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时（Connection timed out）。问题原因 为了保证安全，云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时，客户端与Kafka不在同一VPC下。解决...
SDK概述
本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...
迁移数据上云
云消息队列 Kafka 版 集群的SSL接入点（可在 云消息队列 Kafka 版 控制台获取）bootstrap.servers=XXX.XXX.XXX.XXX:9093#数据压缩方式 compression.type=none#truststore（使用步骤1下载的文件）ssl.truststore.location=kafka.client....
将云消息队列 Kafka 版接入阿里云Elasticsearch
云消息队列 Kafka 版 云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更...
作为Input接入
云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC...
作为Input接入
云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC...
作为Output接入
云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...
网络访问与安全设置
阿里云VPC访问 VPC访问是指您在 云消息队列 Confluent 版 集群所在网络VPC内或者其它VPC访问和使用 云消息队列 Confluent 版 集群。此时，除Control Center提供公网访问方式外，其它集群组件无法从公网访问。公网访问 公网访问是指您可以在...
设置实例到期欠费预警提醒通知
欠费预警接收设置 登录 云消息队列 Kafka 版 控制台。单击页面右上方的 图标，进入 消息中心 页面。在左侧导航栏，单击 基本接收管理。在 基本接收管理 页面的 消息类型 中勾选 产品的欠费、停服、即将释放相关信息通知，单击 修改。在 ...
配置白名单
您可以设置访问 云消息队列 Kafka 版 的白名单，配置在白名单中的IP地址与端口才允许访问 云消息队列 Kafka 版 实例。前提条件 您已购买 云消息队列 Kafka 版 实例，且该实例处于 服务中 的状态。注意事项 公网/VPC类型的实例默认白名单为0...
管理预警联系人
添加预警联系人 登录 云消息队列 Kafka 版 控制台。在左侧导航栏，选择 常用工具/链接>预警联系人。在 预警联系人 页面，单击 添加联系人。在 添加联系人 面板，填写以下信息，然后单击 确定。参数 描述 姓名 联系人姓名。手机号码 联系人...
【通知】V2系列Serverless实例退市公告
云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护 感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...
作为Output接入
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。更多信息，请参见 VPC...
Upsert Kafka
Kafka on EMR可参见文档配置 创建和管理专有网络 和 安全组概述，云消息队列 Kafka 版 需要 配置白名单。使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持消息队列Kafka连接器。仅支持读取和写入Apache Kafka 0.10及以上版本的数据。仅...
创建FC Sink Connector
前提条件 您已购买并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。具体步骤，请参见 步骤二：购买和部署实例。您已开通函数计算服务，具体操作，请参见 开通服务。开通事件总线EventBridge并授权。什么是函数计算？函数计算...
自由使用Group
打开自由使用Group的开关表示 云消息队列 Kafka 版 允许未在控制台创建的Group可以调用API进行消息消费和位点提交等操作，如果关闭自由使用Group功能，那么未在控制台创建的Group（即控制台上 自动创建 栏显示为 是 的Group）将无法进行...
作为Input接入
云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 ...
客户端首次接入如何排查问题？
您可以从网络连通、客户端版本、配置这三个方向进行排查。您的客户端首次接入 消息队列Kafka版，通常会被以下三个问题困扰：网络连通 客户端版本 配置 您可以从上述三个方向，一步一步排查，基本上可以解决99%的问题。
计费概述
说明 云消息队列 Kafka 版 的Connector组件依赖于 事件总线，云消息队列 Kafka 版 不会额外收取费用。事件总线 的计费说明，请参见 计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...
- 产品推荐
- 这些文档可能帮助您