Kafka元数据管理-Kafka元数据管理文档介绍内容-阿里云

Kafka元数据管理

添加Topic 进入Kafka数据管理页。登录阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击右上角的添加Topic。在 ...

通过元数据文件迁移上云

本文介绍如何在 云消息队列 Kafka 版控制台创建迁移任务，将元数据迁移至 云消息队列 Kafka 版已有实例。前提条件下载JDK 8 购买并部署 云消息队列 Kafka 版实例：购买并部署VPC实例购买并部署公网/VPC实例背景信息 Kafka集群元数据...

迁移概述

迁移路由 云消息队列 Kafka 版提供全托管、免运维的实例迁移服务，用于自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...

云消息队列 Kafka 版服务等级协议

云消息队列 Kafka 版规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势 云消息队列 Kafka 版针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了云...

评估规格

使用说明 云消息队列 Kafka 版提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...

创建前提

AliyunKafkaFullAccess：管理 云消息队列 Kafka 版的权限。AliyunFCFullAccess：管理函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...

为什么不能登录部署云消息队列 Kafka 版的机器？

云消息队列 Kafka 版提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版是全托管的，由 云消息队列 Kafka 版专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

概述

本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版快速入门操作流程操作步骤具体操作...

产品概述

本文介绍 云消息队列 Kafka 版的产品动态、产品简介及产品计费。云消息队列 Kafka 版动态与公告产品简介产品计费云消息队列 Confluent 版什么是云消息队列 Confluent 版？产品计费

快速入门

如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门云消息队列 Confluent 版快速入门

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...

我使用的Connector组件如何计费？

云消息队列 Kafka 版的Connector组件处于公测阶段，且独立于 云消息队列 Kafka 版实例，因此不会在 云消息队列 Kafka 版侧产生费用。同时阿里云不承诺Connector的SLA，Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

查看接入点

如需使用SDK接入 云消息队列 Kafka 版收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版控制台查看接入点。背景信息 云消息队列 Kafka 版提供以下类型的接入点：默认接入点：适用于在VPC环境...

为什么需要升级实例来支持监控告警功能？

在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

步骤一：获取访问授权

开通 云消息队列 Kafka 版服务需要使用阿里云其他云产品中的资源，因此，您需要先授权 云消息队列 Kafka 版访问您所拥有的其他阿里云资源。前提条件注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。背景信息为了方便您快速...

迁移自建Kafka集群至新实例

您可以将自建Kafka集群元数据导出，然后导入 云消息队列 Kafka 版实例，云消息队列 Kafka 版会根据成功导入的元数据在目标 云消息队列 Kafka 版实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息以非公网的方式访问云消息队列 Kafka 版实例时，必须满足以下两个条件：ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内，请根据实际情况，重新创建或部署...

正式商用公告

正式商用细则 云消息队列 Kafka 版的正式商用细则如下：为提高服务质量和用户体验，云消息队列 Kafka 版全部以商用实例方式提供服务。实例的基本规格和定价信息请参见计费概述。如果您有共享服务需求，可考虑阿里云消息队列RocketMQ 或...

默认配置映射关系

源端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

集成概述

概念介绍—消息流出（Sink）消息流出的主要能力是将 云消息队列 Kafka 版的数据流出到各类数据目标，Connector生态集成模块对 云消息队列 Kafka 版的消息进行可靠分发，同时在分发时对消息数据进行清洗和过滤。概念介绍—数据处理...

SDK概述

本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...

控制台看到的最近消费时间是什么意思？

消息发布到 云消息队列 Kafka 版服务器的存储时间。控制台看到的最近消费时间是指消息发布到 云消息队列 Kafka 版服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。

什么是云消息队列 Kafka 版？

三分钟了解阿里云 云消息队列 Kafka 版。

是否支持压缩消息？

云消息队列 Kafka 版服务端支持收发压缩消息。如需使用压缩消息，您需要在 云消息队列 Kafka 版的客户端进行设置。在 云消息队列 Kafka 版客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...

应用场景

本文介绍 云消息队列 Kafka 版的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 版的发布/订阅模型，您可以实时收集网站活动数据...

使用云消息队列 Kafka 版时出现“Not authorized to ...

问题描述使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因没有创建Consumer Group时会遇到此报错信息。解决方案您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...

为什么额外增加分区要收费？

云消息队列 Kafka 版优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后，集群性能开始急剧下降，遭遇性能瓶颈。阿里云 云消息队列 Kafka 版对此进行了优化，单个集群的分区数理论上没有上限。但...

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

查看接入点

如需使用客户端连接 云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

为什么Group不存在但能消费消息？

问题现象我在 云消息队列 Kafka 版控制台上，未查看到对应的Group，但此Group下却有消费线程在消费消息。可能原因如果客户端使用 assign 方式消费消息，那么即使不创建Group，也可能消费消息。如果客户端使用 subscribe 方式消费消息，...

能否通过公网访问云消息队列 Kafka 版实例？

网络类型为公网/VPC的 云消息队列 Kafka 版实例支持通过公网访问。云消息队列 Kafka 版提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请购买公网/VPC实例。如果已购买VPC实例，请升级实例配置，变更VPC实例为公网/VPC实例。更...

升级实例配置

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

创建Kafka Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将指定 云消息队列 Kafka 版实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

创建Kafka Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将指定 云消息队列 Kafka 版实例中的数据快速导入至另外的 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请...

迁移数据上云

云消息队列 Kafka 版集群的SSL接入点（可在 云消息队列 Kafka 版控制台获取）bootstrap.servers=XXX.XXX.XXX.XXX:9093#数据压缩方式 compression.type=none#truststore（使用步骤1下载的文件）ssl.truststore.location=kafka.client....

如何快速使用云消息队列 Kafka 版的Java SDK收发消息

六分钟上手 云消息队列 Kafka 版。文档教程快速入门

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...

Kafka元数据管理

新品推荐