迁移消息队列Kafka版Topic元数据到消息队列Kafka版-迁移消息队列Kafka版Topic元数据到消息队列Kafka版文档介绍内容-阿里云

按量计费转包年包月

前提条件您已购买并部署云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

默认配置映射关系

消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS ...

升级实例版本

前提条件云消息队列 Kafka 版实例的状态为服务中。背景信息升级大版本升级大版本是指跨版本升级，例如将云消息队列 Kafka 版实例的版本从0.10.x版本升级至2.x版本。重要目前新部署实例仅支持2.x版本，存量0.10.x可正常使用。由于2....

管理预警联系人

添加预警联系人登录云消息队列 Kafka 版控制台。在左侧导航栏，选择常用工具/链接>预警联系人。在预警联系人页面，单击添加联系人。在添加联系人面板，填写以下信息，然后单击确定。参数描述姓名联系人姓名。手机号码联系人...

服务关联角色

本文介绍云消息队列 Kafka 版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息服务关联角色是某个云服务在某些情况下，为了完成自身的某个功能，需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

SourceKafkaParameters

名称类型描述示例值 object EventBridge 消息队列 Kafka 版的自定义事件源参数 ConsumerGroup string 订阅该 Topic 的消费者所对应的 Group ID。DEFAULT_GROUP InstanceId string 消息队列 Kafka 版的实例的 ID。r-8vb64581862c*Network...

产品架构

云消息队列 Kafka 版系统架构如云消息队列 Kafka 版的系统架构所示，一个云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版的系统架构 Producer 通过push模式向云消息队列 Kafka 版...

用户管理

查看用户列表登录云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在实例详情页面，单击左侧操作栏的用户管理，查看所有用户列表。新增用户在用户管理页面，单击添加LDAP用户。在...

升级实例配置

本文介绍如何在云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

客户端首次接入如何排查问题？

您可以从网络连通、客户端版本、配置这三个方向进行排查。您的客户端首次接入 消息队列Kafka版，通常会被以下三个问题困扰：网络连通客户端版本配置您可以从上述三个方向，一步一步排查，基本上可以解决99%的问题。

创建Tablestore Sink Connector

本文介绍如何创建使用Tablestore Sink Connector，您可通过Tablestore Sink Connector将数据从云消息队列 Kafka 版实例的数据源Topic导出至Tablestore的表中。前提条件创建资源及授权策略，请参见创建前提。创建Connector时生成的函数...

基于事件流实现Kafka消息路由

本文介绍如何应用事件总线EventBridge 的事件流功能实现云消息队列 Kafka 版的消息路由。前提条件已开通事件总线EventBridge并授权。已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见购买和部署...

消息检索

自动创建的实例和数据表名称格式如下：实例名称：kfk-{ 云消息队列 Kafka 版实例名称后12位字符} 数据表表名：{Topic名称}:kafka_topic_{Topic名称}_{6位随机字符} 每个开通消息检索的Topic会在云消息队列 Kafka 版实例中自动创建4个...

查看迁移进度

迁移类型包括：通过命令行迁移 迁移Topic上云迁移Group上云 迁移数据上云通过元数据文件迁移上云迁移自建Kafka集群至新实例位点迁移重要目前不支持将自建Kafka集群的位点迁移到云消息队列 Kafka 版。操作步骤重要云消息队列 Kafka...

创建OSS Sink Connector（新版）

本文介绍如何创建使用OSS Sink Connector，您可以通过OSS Sink Connector将数据从云消息队列 Kafka 版的数据源Topic导出至对象存储OSS的Object中。前提条件详细步骤，请参见创建前提。注意事项 Connector基于事件被处理的时间做时间...

云消息队列 Kafka 版

本文介绍如何在事件总线EventBridge 控制台添加云消息队列 Kafka 版作为事件流中的事件提供方。前提条件开通事件总线EventBridge并授权。您已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见购买和...

Filebeat发送失败问题

问题现象在云消息队列 Kafka 版控制台的 Topic 管理页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的云消息队列 Kafka 版 ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向云消息队列 Kafka 版发送消息。前提条件购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到云消息队列 Kafka 版集群。前提条件您已完成以下操作：下载迁移工具MirrorMaker 迁移Topic上云背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

弹性策略

前提条件创建并部署云消息队列 Kafka 版 V3系列实例，且实例处于服务中状态。弹性能力为应对生产环境中多阶梯的流量需求，云消息队列 Kafka 版 V3系列Serverless实例提供弹性伸缩流量规格的能力，您可以通过升配和降配修改发送、订阅...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

创建MQTT Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建流入任务，将云消息队列 MQTT 版中的数据快速导入至云消息队列 Kafka 版实例中。前提条件您已购买云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买...

升降配管理

本文介绍如何在云消息队列 Kafka 版控制台完成实例升配或降配，配置项包括规格类型、实例类型、发送能力预留和订阅能力预留等。前提条件实例处于服务中或未部署状态。升降配说明为保障在预留规格生效时间内升配或者降配至预设容量...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。更多信息，请参见 VPC...

验证迁移结果

迁移类型包括：通过命令行迁移 迁移Topic上云迁移Group上云 迁移数据上云通过元数据文件迁移上云迁移自建Kafka集群至新实例操作步骤登录云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，...

升级Broker可能产生哪些影响？

升级Broker可能产生以下影响：升级过程中，会逐个重启云消息队列 Kafka 版集群中所有的Broker。在重启Broker的过程中服务不会中断，但是从每个Broker重启完成之后的5分钟内消费的分区消息可能会发生乱序。重启过程中已有的客户端连接可能...

CreateSaslUser-创建SASL用户

消息队列 Kafka 版优化了 PLAIN 机制，支持不重启实例的情况下动态增加 SASL 用户。scram：一种用户名密码校验机制，安全性比 PLAIN 更高。消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。plain Mechanism string 否加密方式。...

创建RabbitMQ Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建流入任务，将云消息队列 RabbitMQ 版中的数据快速导入至云消息队列 Kafka 版。前提条件您已购买云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

可观测性及错误定位

登录云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在左侧导航栏，选择 Connector生态集成>消息流入（Source）或者 Connector生态集成>消息流出（Sink）。在消息流入（Source）或者消息流出（Sink）页面，找到...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

创建RocketMQ Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流入任务，将云消息队列 RocketMQ 版的数据快速导入至云消息队列 Kafka 版。前提条件您已购买Kafka实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您已...

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 ...

使用Kafka Connect将SQL Server数据同步至云消息队列 ...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

迁移消息队列Kafka版Topic元数据到消息队列Kafka版

新品推荐