使用云消息队列 Kafka 时出现消息堆积

使用 云消息队列 Kafka 时,可能会发现Group中出现消息堆积。本文介绍如何判断消息堆积是否属于正常情况,以及处理方法。客户端消费流程 了解客户端消费流程,有助于理解消息是否堆积。一般情况下,客户端消费流程大致如下:判断消息...

评估规格

使用说明 云消息队列 Kafka 提供的规格评估功能将根据您输入的自建Kafka集群的信息,如集群流量情况、磁盘容量和类型、分区数量等,来为您评估并推荐需要的 云消息队列 Kafka 实例规格,帮助您提前根据推荐部署 云消息队列 Kafka ...

退款说明

根据计费方式的特点,云消息队列 Kafka 资源支持的退款情况如下:包年包月的 云消息队列 Kafka 资源如需退款,可在控制台上退订实例。详细信息,请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 资源在使用后才支付费用,...

概述

本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 。操作流程 根据网络类型不同,快速入门的操作流程有所不同,详情请参见 云消息队列 Kafka 快速入门操作流程。图 1.云消息队列 Kafka 快速入门操作流程 操作步骤 具体操作...

快速入门

如果您首次使用 云消息队列 Kafka ,您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 快速入门 云消息队列 Confluent 版快速入门

使用ACL功能进行访问控制

当需要对不同的用户或用户组授予不同级别的访问权限时,您可以使用 云消息队列 Kafka 专业版实例的访问控制列表(ACL)功能,为SASL用户赋予对Topic、Group等资源的操作权限,实现细粒度的权限管理。背景信息 企业A购买了 云消息队列 ...

欠费说明

欠费影响 如果您购买的为包年包月实例,实例到期后,您账户下的 云消息队列 Kafka 服务会切换为 已过期 状态,即您将不能再继续使用 云消息队列 Kafka 服务。如果您购买的为按量计费实例 或弹性按量计费实例,当您的账户余额不足以...

上迁移Group

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将某个 云消息队列 Kafka 实例的 Group 迁移到另一个 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 重要 迁移不会删除源 云消息队列 ...

迁移Topic上云

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 实例...

使用云消息队列 Kafka 时出现“Not authorized to ...

问题描述 使用云消息队列 Kafka 时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 的控制台...

使用限制

云消息队列 Kafka 对某些具体指标进行了约束和规范,您在使用 云消息队列 Kafka 时注意不要超过相应的限制值,以免程序出现异常。重要 若由于您的实例配置超出使用限制导致的任何不稳定情况,不在SLA承诺和赔偿范围内。云消息队列 ...

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka ...

接入点对比

云消息队列 Kafka 提供默认接入点、SSL接入点和SASL接入点以适用不同的连接及安全需求。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;需要链路加密和消息鉴权,建议使用SSL...

上迁移Topic

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将某个 云消息队列 Kafka 实例的Topic迁移到另一个 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 ...

消息检索

当 云消息队列 Kafka 版 控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时,您可以使用 云消息队列 Kafka 消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...

产品架构

云消息队列 Kafka 系统架构 如 云消息队列 Kafka 的系统架构 所示,一个 云消息队列 Kafka 集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.云消息队列 Kafka 的系统架构 Producer 通过push模式向 云消息队列 Kafka ...

云消息队列 Kafka 服务等级协议

云消息队列 Kafka 规定了阿里云向客户提供的阿里云 云消息队列 Kafka 的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 的服务可用性等级指标及赔偿方案,请参见 云消息队列 Kafka 服务等级协议。

步骤三:创建资源

使用 云消息队列 Kafka 进行消息收发时,您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic,消费者通过订阅Topic获取消息进行消费。消费者消费消息时,需要指定Group订阅对应的Topic。Group和...

使用云消息队列 Kafka 时客户端的报错及解决方案

使用云消息队列 Kafka 时,客户端可能报错,您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权(sasl.mechanisms)...

查看Rebalance详情

当消费客户端出现Rebalance时,您可以查看Rebalance的详情,包括Rebalance的时间、耗时、次数、原因以及...后续步骤 当客户端频繁出现Rebalance时,您可以参考以下文档解决此问题:使用云消息队列 Kafka 时消费客户端频繁出现Rebalance。

如何快速测试云消息队列 Kafka 服务端是否正常?

在创建并部署 云消息队列 Kafka 实例后,您可以使用 云消息队列 Kafka 控制台直接发送消息,快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 实例,且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...

为什么不能登录部署云消息队列 Kafka 的机器?

云消息队列 Kafka 提供全托管免运维服务,您无需登录机器。云消息队列 Kafka 是全托管的,由 云消息队列 Kafka 专业团队进行运维保障,您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

产品概述

本文介绍 云消息队列 Kafka 的产品动态、产品简介及产品计费。云消息队列 Kafka 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 版?产品计费

常见问题

使用云消息队列 Kafka 时客户端的报错及解决方案 无法ping通云消息队列 Kafka 的接入点 客户端消费问题 订阅者最佳实践 客户端首次接入云消息队列 Kafka 时出现异常的排查方法 使用云消息队列 Kafka 时出现消息堆积 为什么消费客户...

查看迁移进度

本文说明如何查看自建Kafka集群迁移到 云消息队列 Kafka 的进度。前提条件 您已开始自建Kafka集群迁移上云。迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例...

客户端首次接入云消息队列 Kafka 时出现异常的排查...

详细信息 客户端首次接入云消息队列 Kafka 时如果出现异常,您可以通过以下三个方面进行排查:网络连通问题:通常有如下几种情况可能会导致网络不通,客户端无法连接云消息队列 Kafka 的服务端。ECS实例(客户端)与云消息队列 Kafka ...

API概览

本产品(云消息队列 Kafka /2019-09-16)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...

使用的Connector组件如何计费?

云消息队列 Kafka 的Connector组件处于公测阶段,且独立于 云消息队列 Kafka 实例,因此不会在 云消息队列 Kafka 侧产生费用。同时阿里云不承诺Connector的SLA,Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

SDK概述

本文介绍 云消息队列 Kafka SDK、支持的多语言SDK。SDK简介 SDK(Software Development Kit)即软件开发工具包,包含示例Demo、库文件、编译工具链以及编译脚本等,不需要开发者进行任何其他的配置,直接可以在SDK对应目录环境下,进行...

监控

前提条件 创建服务关联角色 角色名称:AliyunServiceRoleForAlikafka 角色策略名称:AliyunServiceRolePolicyForAlikafka 权限说明:允许 云消息队列 Kafka 使用该角色访问您的服务(云监控和ARMS服务)以完成云监控相关功能。...

Kafka数据接入

支持从 云消息队列 Kafka 消息记录的不同部分提取数据表主键,包括消息记录的Coordinates(Topic,Partition,Offset),Key和Value。当 表格存储 选择宽表模型时显示该参数。取值范围如下:kafka(默认):表示以<connect_topic>_和...

为什么需要升级实例来支持监控告警功能?

在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的 云消息队列 Kafka 集群不支持上报监控告警数据,因此需要升级旧版本的 云消息队列 Kafka 实例集群,让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息 以非公网的方式访问云消息队列 Kafka 实例时,必须满足以下两个条件:ECS实例与云消息队列 Kafka 实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 实例不在同一个VPC网络实例内,请根据实际情况,重新创建或部署...

默认配置映射关系

源端类型 模式 值 云消息队列 Kafka 部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版 部分事件$.data.body 云消息队列 MQTT 版 部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

什么是云消息队列 Kafka

三分钟了解阿里云 云消息队列 Kafka

验证迁移结果

迁移成功后,目标 云消息队列 Kafka 实例下会创建对应的Topic和 Group。您可以在 Topic 管理 和 Group 管理 页面的列表中查看。前提条件 您已将自建Kafka集群迁移至 云消息队列 Kafka 实例中。迁移类型包括:通过命令行迁移 迁移...

为什么额外增加分区要收费?

云消息队列 Kafka 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 对此进行了优化,单个集群的分区数理论上没有上限。但...

Workers

使用 云消息队列 Kafka 提供默认值的配置项:plugin.path rest.advertised.port topic.creation.enable listeners 不会传输至Kafka Connect的配置项。sasl.*ssl.*security.*rest.advertised.host.name rest.advertised.listener rest....

是否支持Compact的日志清理策略?

开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略,请参见 升级大版本。

从自建MySQL同步至云消息队列 Kafka

通过数据传输服务DTS(Data Transmission Service),您可以将自建MySQL同步至 云消息队列 Kafka ,扩展消息处理能力。前提条件 您已完成以下操作:自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...
共有49条 < 1 2 3 4 ... 49 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 Kafka 版 阿里邮箱 开源大数据平台 E-MapReduce 弹性公网IP 商标服务 短信服务
新人特惠 爆款特惠 最新活动 免费试用