消息队列 Kafka应用场景-消息队列 Kafka应用场景文档介绍内容-阿里云

应用场景

本文介绍 云消息队列 Kafka 版的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 版的发布/订阅模型，您可以实时收集网站活动数据...

评估规格

使用说明 云消息队列 Kafka 版提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...

退款说明

根据计费方式的特点，云消息队列 Kafka 版资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版资源如需退款，可在控制台上退订实例。详细信息，请参见实例生命周期管理。按量计费的 云消息队列 Kafka 版资源在使用后才支付费用，...

概述

本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版快速入门操作流程操作步骤具体操作...

快速入门

如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门云消息队列 Confluent 版快速入门

常见问题

使用云消息队列 Kafka 版时客户端的报错及解决方案 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息网络问题无法ping通云消息队列 Kafka 版的接入点不在同一可用区内的ECS实例如何访问云消息队列 ...

欠费说明

欠费影响如果您购买的为包年包月实例，实例到期后，您账户下的 云消息队列 Kafka 版服务会切换为已过期状态，即您将不能再继续使用 云消息队列 Kafka 版服务。如果您购买的为按量计费实例或弹性按量计费实例，当您的账户余额不足以...

使用ACL功能进行访问控制

当需要对不同的用户或用户组授予不同级别的访问权限时，您可以使用 云消息队列 Kafka 版专业版或V3系列Serverless 实例的访问控制列表（ACL）功能，为SASL用户赋予对Topic、Group等资源的操作权限，实现细粒度的权限管理。背景信息企业A...

云上迁移Group

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的 Group 迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具JAR文件重要迁移不会删除源 云消息队列 ...

迁移Topic上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版实例...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

什么是云消息队列 Kafka 版？

应用生态 云消息队列 Kafka 版具有丰富的应用生态，主要包括以下方面：大数据领域：网站行为分析、日志聚合、应用监控、流式数据处理、在线和离线数据分析等领域。数据集成：将消息导入MaxCompute、OSS、RDS、Hadoop、HBase等离线数据仓库...

使用云消息队列 Kafka 版时出现“Not authorized to ...

问题描述 使用云消息队列 Kafka 版时出现“Not authorized to access group”的错误信息。问题原因没有创建Consumer Group时会遇到此报错信息。解决方案您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 版的控制台...

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...

产品架构

云消息队列 Kafka 版系统架构如 云消息队列 Kafka 版的系统架构所示，一个 云消息队列 Kafka 版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 版的系统架构 Producer 通过push模式向 云消息队列 Kafka 版...

消息检索

当 云消息队列 Kafka 版控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时，您可以使用 云消息队列 Kafka 版消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...

云上迁移Topic

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的Topic迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云...

云消息队列 Kafka 版服务等级协议

云消息队列 Kafka 版规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。

迁移概述

迁移路由 云消息队列 Kafka 版提供全托管、免运维的实例迁移服务，用于自建实例与 云消息队列 Kafka 版实例之间或者 云消息队列 Kafka 版实例之间的数据同步，无需借助工具即可在控制台上实现实例迁移，迁移完成后目标集群的元数据与源...

仪表盘

借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力，云消息队列 Kafka 版提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标，进而快速了解业务的运行状态。前提条件开通ARMS Prometheus监控服务 ...

使用云消息队列 Kafka 版时客户端的报错及解决方案

在使用云消息队列 Kafka 版时，客户端可能报错，您可以根据报错消息匹配对应的解决方案。详细信息报错信息对应的详细信息如下。报错信息客户端语言类型报错原因解决方案 TimeoutException Java 网络问题客户端鉴权（sasl.mechanisms）...

查看Rebalance详情

当消费客户端出现Rebalance时，您可以查看Rebalance的详情，包括Rebalance的时间、耗时、次数、原因以及...后续步骤当客户端频繁出现Rebalance时，您可以参考以下文档解决此问题：使用云消息队列 Kafka 版时消费客户端频繁出现Rebalance。

云监控

前提条件创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以完成云监控和仪表盘相关功能。...

新功能发布记录

如何恢复实例 2022-08-01 功能名称功能描述功能类型相关文档 云消息队列 Kafka 版 Serverless正式商业化 云消息队列 Kafka 版 Serverless实例正式商业化使用。调整购买限制：单账号能购买的Serverless实例数量从1调整到100。支持地域为...

查看接入点

如需使用SDK接入 云消息队列 Kafka 版收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版控制台查看接入点。背景信息 云消息队列 Kafka 版提供以下类型的接入点：默认接入点：适用于在VPC环境...

查看迁移进度

本文说明如何查看自建Kafka集群迁移到 云消息队列 Kafka 版的进度。前提条件您已开始自建Kafka集群迁移上云。迁移类型包括：通过命令行迁移迁移Topic上云迁移Group上云迁移数据上云通过元数据文件迁移上云迁移自建Kafka集群至新实例...

SDK概述

本文介绍 云消息队列 Kafka 版 SDK、支持的多语言SDK。SDK简介 SDK（Software Development Kit）即软件开发工具包，包含示例Demo、库文件、编译工具链以及编译脚本等，不需要开发者进行任何其他的配置，直接可以在SDK对应目录环境下，进行...

产品概述

本文介绍 云消息队列 Kafka 版的产品动态、产品简介及产品计费。云消息队列 Kafka 版动态与公告产品简介产品计费云消息队列 Confluent 版什么是云消息队列 Confluent 版？产品计费

为什么不能登录部署云消息队列 Kafka 版的机器？

云消息队列 Kafka 版提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版是全托管的，由 云消息队列 Kafka 版专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

云监控

前提条件创建服务关联角色角色名称：AliyunServiceRoleForAlikafka 角色策略名称：AliyunServiceRolePolicyForAlikafka 权限说明：允许 云消息队列 Kafka 版使用该角色访问您的服务（云监控和ARMS服务）以完成云监控相关功能。...

步骤一：获取访问授权

开通 云消息队列 Kafka 版服务需要使用阿里云其他云产品中的资源，因此，您需要先授权 云消息队列 Kafka 版访问您所拥有的其他阿里云资源。前提条件注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。背景信息为了方便您快速...

客户端首次接入云消息队列 Kafka 版时出现异常的排查...

详细信息客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...

操作指南

您可以在 云消息队列 Kafka 版控制台创建实例、...云消息队列 Kafka 版 V3系列Serverless实例管理 V2系列实例管理 Topic Group Connector生态集成迁移权限管理云消息队列 Confluent 版集群资源规格评估实例管理权限管理集群配置与使用

正式商用公告

正式商用细则 云消息队列 Kafka 版的正式商用细则如下：为提高服务质量和用户体验，云消息队列 Kafka 版全部以商用实例方式提供服务。实例的基本规格和定价信息请参见计费概述。如果您有共享服务需求，可考虑阿里云消息队列RocketMQ 或...

升级实例配置

适用场景及风险点场景风险 云消息队列 Kafka 版非Serverless 实例的磁盘使用率偏高，即将影响正常业务进行，需要扩容磁盘。升级后会引发集群逐台重启。云消息队列 Kafka 版非Serverless 实例的流量规格持续超过已购买的规格，无法满足...

使用云消息队列 Kafka 版时出现消息堆积

使用 云消息队列 Kafka 版时，可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况，以及处理方法。客户端消费流程了解客户端消费流程，有助于理解消息是否堆积。一般情况下，客户端消费流程大致如下：判断消息...

默认配置映射关系

源端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

Terraform

本文介绍Terraform的基本概念和针对 云消息队列 Kafka 版的应用场景。什么是Terraform 基本功能 Terraform是IT基础架构自动化编排工具，可以用代码来管理维护IT资源。更多信息，请参见什么是Terraform。Terraform的命令行接口CLI...

我使用的Connector组件如何计费？

云消息队列 Kafka 版的Connector组件处于公测阶段，且独立于 云消息队列 Kafka 版实例，因此不会在 云消息队列 Kafka 版侧产生费用。同时阿里云不承诺Connector的SLA，Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

云消息队列 Kafka 版

云消息队列 Kafka 版（ApsaraMQ for Kafka）秉持开放的原则拥抱开源，全面融合Kafka开源生态，做到无缝迁移，打造更安全、更可靠、更易运维的Kafka企业级消息服务。

消息队列 Kafka应用场景

新品推荐