迁移消息队列Kafka版Topic元数据到消息队列Kafka版-迁移消息队列Kafka版Topic元数据到消息队列Kafka版文档介绍内容-阿里云

迁移概述

迁移路由云消息队列 Kafka 版提供全托管、免运维的实例迁移服务，用于自建实例与云消息队列 Kafka 版实例之间或者云消息队列 Kafka 版实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...

迁移Topic上云

本文介绍如何使用云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的Topic迁移到云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云消息队列 Kafka 版实例...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势云消息队列 Kafka 版针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了云...

云消息队列 Kafka 版服务等级协议

云消息队列 Kafka 版规定了阿里云向客户提供的阿里云云消息队列 Kafka 版的服务可用性等级指标及赔偿方案。如需查看云消息队列 Kafka 版的服务可用性等级指标及赔偿方案，请参见云消息队列 Kafka 版服务等级协议。

云上迁移Topic

本文介绍如何使用云消息队列 Kafka 版提供的迁移工具将某个云消息队列 Kafka 版实例的Topic迁移到另一个云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云...

发布者最佳实践

本文介绍云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

退款说明

本文介绍了云消息队列 Kafka 版支持的退款情况。根据计费方式的特点，云消息队列 Kafka 版资源支持的退款情况如下：包年包月的云消息队列 Kafka 版资源如需退款，可在控制台上退订实例。详细信息，请参见实例生命周期管理。按量计费...

概述

本文旨在以简单明了的方式引导您快速上手云消息队列 Kafka 版。操作流程根据网络类型不同，快速入门的操作流程有所不同，详情请参见云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版快速入门操作流程操作步骤具体操作...

为什么不能登录部署云消息队列 Kafka 版的机器？

云消息队列 Kafka 版提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版是全托管的，由云消息队列 Kafka 版专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

产品概述

本文介绍云消息队列 Kafka 版的产品动态、产品简介及产品计费。云消息队列 Kafka 版动态与公告产品简介产品计费云消息队列 Confluent 版什么是云消息队列 Confluent 版？产品计费

快速入门

如果您首次使用云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档云消息队列 Kafka 版快速入门云消息队列 Confluent 版快速入门

查看接入点

如需使用SDK接入云消息队列 Kafka 版收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在云消息队列 Kafka 版控制台查看接入点。背景信息云消息队列 Kafka 版提供以下类型的接入点：默认接入点：适用于在VPC环境...

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

概述本文主要介绍客户端首次接入云消息队列 Kafka 版时，出现异常的排查方法。详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端...

创建Kafka Sink Connector

本文介绍如何在云消息队列 Kafka 版控制台创建消息流出任务，将指定云消息队列 Kafka 版实例中的数据导出至其他的云消息队列 Kafka 版。前提条件您已购买并部署云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见...

创建Kafka Source Connector

本文介绍如何在云消息队列 Kafka 版控制台创建流入任务，将指定云消息队列 Kafka 版实例中的数据快速导入至另外的云消息队列 Kafka 版实例中。前提条件您已购买云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请...

步骤一：获取访问授权

开通云消息队列 Kafka 版服务需要使用阿里云其他云产品中的资源，因此，您需要先授权云消息队列 Kafka 版访问您所拥有的其他阿里云资源。前提条件注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。背景信息为了方便您快速...

欠费说明

如果过期后168小时依然欠费，云消息队列 Kafka 版实例将被释放，实例释放后数据不可恢复，即您不能再使用云消息队列 Kafka 版服务。如果需要提前释放实例，可在控制台上强制删除，更多信息，请参见实例生命周期管理。为避免服务停止...

我使用的Connector组件如何计费？

云消息队列 Kafka 版的Connector组件处于公测阶段，且独立于云消息队列 Kafka 版实例，因此不会在云消息队列 Kafka 版侧产生费用。同时阿里云不承诺Connector的SLA，Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

为什么需要升级实例来支持监控告警功能？

在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的云消息队列 Kafka 版集群不支持上报监控告警数据，因此需要升级旧版本的云消息队列 Kafka 版实例集群，让它可以上报监控告警数据。若您要升级您的云消息队列 Kafka ...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

概述不在同一可用区内的ECS实例可通过非公网的方式访问云消息队列 Kafka 版实例，详情请查看以下内容。详细信息以非公网的方式访问云消息队列 Kafka 版实例时，必须满足以下两个条件：ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例...

什么是云消息队列 Kafka 版？

三分钟了解阿里云云消息队列 Kafka 版。

评估规格

本文说明迁移前如何使用云消息队列 Kafka 版的规格评估功能为迁移上云的自建Kafka集群选择合适的实例规格。前提条件注册阿里云账号并完成实名认证。详细信息，请参见注册阿里云账号。使用说明云消息队列 Kafka 版提供的规格评估功能...

默认配置映射关系

消息服务MNS 默认入参源端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS ...

是否支持压缩消息？

云消息队列 Kafka 版服务端支持收发压缩消息。如需使用压缩消息，您需要在云消息队列 Kafka 版的客户端进行设置。在云消息队列 Kafka 版客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...

基本概念

本文说明云消息队列 Kafka 版涉及的专有名词和术语，帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。更多信息，请参见 Apache Kafka。云消息队列 Kafka 版...

使用云消息队列 Kafka 版时出现“Not authorized to ...

问题描述使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因没有创建Consumer Group时会遇到此报错信息。解决方案您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...

通过元数据文件迁移上云

您可以将自建Kafka集群元数据导出，然后导入云消息队列 Kafka 版实例，云消息队列 Kafka 版会根据成功导入的元数据在目标云消息队列 Kafka 版实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...

能否通过公网访问云消息队列 Kafka 版实例？

网络类型为公网/VPC的云消息队列 Kafka 版实例支持通过公网访问。云消息队列 Kafka 版提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请购买公网/VPC实例。如果已购买VPC实例，请升级实例配置，变更VPC实例为公网/VPC实例。更...

查看接入点

如需使用客户端连接云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

如何快速使用云消息队列 Kafka 版的Java SDK收发消息

六分钟上手云消息队列 Kafka 版。文档教程快速入门

接入Filebeat

本文介绍如何将云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

控制台看到的最近消费时间是什么意思？

消息发布到云消息队列 Kafka 版服务器的存储时间。控制台看到的最近消费时间是指消息发布到云消息队列 Kafka 版服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。

是否支持延迟消息？

和开源Apache Kafka一样，云消息队列 Kafka 版同样不支持延迟消息。

无法ping通云消息队列 Kafka 版的接入点

问题描述无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时（Connection timed out）。问题原因为了保证安全，云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时，客户端与Kafka不在同一VPC下。解决...

使用ACL功能进行访问控制

背景信息企业A购买了云消息队列 Kafka 版，企业A希望用户A只能从云消息队列 Kafka 版的所有Topic中消费消息，而不能向云消息队列 Kafka 版的任何Topic生产消息。注意事项 Kafka为公网/VPC类型实例提供默认SASL用户，默认SASL用户仅...

计费概述

本文介绍云消息队列 Kafka 版的计费方式，帮助您快速了解计费详情，按需选择计费方式。说明云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，...

如何通过代理访问云消息队列 Kafka 版实例

概述暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看详细信息。详细信息云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

迁移消息队列Kafka版Topic元数据到消息队列Kafka版

新品推荐