迁移消息队列Kafka版Topic元数据到消息队列Kafka版-迁移消息队列Kafka版Topic元数据到消息队列Kafka版文档介绍内容-阿里云

为什么Group不存在但能消费消息？

问题现象我在云消息队列 Kafka 版控制台上，未查看到对应的Group，但此Group下却有消费线程在消费消息。可能原因如果客户端使用 assign 方式消费消息，那么即使不创建Group，也可能消费消息。如果客户端使用 subscribe 方式消费消息，...

为什么Group管理页面的Group变多了？

问题现象在云消息队列 Kafka 版控制台的 Group 管理页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因若Group的自动创建栏为否，说明此Group创建于云消息队列 Kafka 版控制台的 Group ...

Topic的存储有哪些类型？

云存储和Local存储。云消息队列 Kafka 版实例支持云存储和Local存储。详情请参见存储引擎对比。

服务支持

本文汇总了云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

迁移Group上云

本文介绍如何使用云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云消息队列 Kafka 版 ...

创建MNS Sink Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流出任务，将云消息队列 Kafka 版的数据导出至消息服务。前提条件您已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您...

创建RabbitMQ Sink Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流出任务，将云消息队列 Kafka 版的数据导出至云消息队列 RabbitMQ 版。前提条件您已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

创建RocketMQ Sink Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流出任务，将云消息队列 Kafka 版的数据导出至云消息队列 RocketMQ 版。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源。您已...

配置白名单

您可以设置访问云消息队列 Kafka 版的白名单，配置在白名单中的IP地址与端口才允许访问云消息队列 Kafka 版实例。前提条件您已购买云消息队列 Kafka 版实例，且该实例处于服务中的状态。注意事项公网/VPC类型的实例默认白名单为0...

查看消费明细

如果您对云消息队列 Kafka 版服务的消费情况产生疑问，可以查看消费明细。查看费用账单登录云消息队列 Kafka 版控制台。在页面右上角，选择费用>用户中心。在左侧导航栏，按需选择账单管理目录下的账单维度，查看您的消费信息。月...

查看任务执行记录

在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在云消息队列 Kafka 版控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件创建并部署云消息队列 Kafka 版 ...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署云消息队列 Kafka 版...

开发参考

本文介绍云消息队列 Kafka 版的SDK和API及Terraform的支持情况，供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform

实践教程

针对各种业务需求，云消息队列 Kafka 版提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程最佳实践生态对接

元数据导入

本文介绍如何在云消息队列 Kafka 版控制台创建元数据导入任务，将元数据迁移至云消息队列 Kafka 版已有实例。前提条件下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例购买并部署公网/VPC实例说明购买实例的规格可...

接入Logstash

本文介绍如何将云消息队列 Kafka 版接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...

如何获取部署实例时需要的VPC信息？

在交换机页面，查看以下信息：交换机实例ID/名称专有网络可用区说明请根据该页面的可用区（A～G）在云消息队列 Kafka 版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在可用区B，那么在云消息队列 Kafka...

设置实例到期欠费预警提醒通知

欠费预警接收设置登录云消息队列 Kafka 版控制台。单击页面右上方的图标，进入消息中心页面。在左侧导航栏，单击基本接收管理。在基本接收管理页面的消息类型中勾选产品的欠费、停服、即将释放相关信息通知，单击修改。在 ...

VPC接入

如果仅需要在VPC网络接入云消息队列 Kafka 版，您可以购买并部署VPC实例。前提条件已授予云消息队列 Kafka 版访问其他云服务资源的权限。具体信息，请参见步骤一：获取访问授权。已搭建VPC网络。具体操作，请参见创建和管理专有网络...

公网和VPC接入

如果需要同时在VPC网络和公网接入云消息队列 Kafka 版，您需要购买并部署公网/VPC实例。前提条件已授予云消息队列 Kafka 版访问其他云服务资源的权限。具体信息，请参见获取访问授权。已搭建VPC网络。具体操作，请参见创建和管理专有...

报警项状态显示数据不足怎么办？

可能原因老版云消息队列 Kafka 版实例不支持报警数据上报。解决方案登录云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击配置信息页签，然后单击...

生态对接概述

本文介绍云消息队列 Kafka 版支持对接的生态。阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

创建FC Sink Connector

MQ_INST_115964845466*_ByBeUp3p Topic 选择生产云消息队列 Kafka 版消息的Topic。topic Group ID 选择源实例的消费组名称。请使用独立的消费组来创建事件源，不要和已有的业务混用消费组，以免影响已有的消息收发。GID_http_1 并发配额...

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

升级多可用区

前提条件您使用的云消息队列 Kafka 版实例类型为专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响该操作服务不会中断，但可能导致...

消息队列Kafka版系统权限策略参考

本文描述消息队列Kafka版支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...

续费操作

登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中 消息队列 Kafka（包年包月）服务...

实例支持哪些开源版本？

云消息队列 Kafka 版标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本，同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后，可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本，请参见升级实例版本...

购买和部署实例

获取云消息队列 Kafka 版访问授权。步骤一：购买实例登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，然后单击购买实例。在请选择您要创建的实例的付费方式面板，选择实例系列为 Confluent ...

仪表盘

云消息队列 Kafka 版的所有指标数据已保存到您的阿里云可观测监控 Prometheus 版中，您可以通过可观测监控 Prometheus 版提供的API将云消息队列 Kafka 版的仪表盘的指标数据接入到本地自建Grafana中。具体操作，请参见将Prometheus的...

访问链接与端口

开启公网登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

迁移自建Kafka集群至新实例

您可以将自建Kafka集群元数据导出，然后导入云消息队列 Kafka 版实例，云消息队列 Kafka 版会根据成功导入的元数据在目标云消息队列 Kafka 版实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...

续费操作

登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中 消息队列 Kafka（包年包月）服务...

迁移上云

背景信息迁移上云可以把源云消息队列 Kafka 版集群的元数据（Topic和Group配置信息）和消息数据同步到目标集群，迁移完成后目标集群的元数据与原集群的元数据保持一致并且持续更新。使用限制云消息队列 Kafka 版对迁移上云任务的限制...

步骤三：创建资源

当使用云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

默认配置映射关系

消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS ...

SSL证书算法升级说明

前提条件您已购买云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

为什么消息已经过期还未被删除？

问题现象您发送的消息在服务端...磁盘容量充足，使用率低于75%，云消息队列 Kafka 版设置的集中清理消息的时间还未到，消息不会被删除。说明磁盘使用率低于75%时，在每天凌晨4点，云消息队列 Kafka 版集中删除超过消息保留时长的消息。

默认配置映射关系

消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS ...

实例规格

本文说明云消息队列 Kafka 版支持的规格类型，以便您根据实际业务需求选择合适的实例规格。实例规格类型云消息队列 Kafka 版实例规格类型如下：项目标准版（高写版）专业版（高写版）专业版（高读版）版本支持部署2.x版本。如需升级...

迁移消息队列Kafka版Topic元数据到消息队列Kafka版

新品推荐