kafka监控安装-kafka监控安装文档介绍内容-阿里云

生态对接概述

本文介绍 云消息队列 Kafka 版支持对接的生态。阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

订阅者最佳实践

本文主要介绍 云消息队列 Kafka 版订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡每个 ...

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

实例支持哪些开源版本？

云消息队列 Kafka 版标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本，同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后，可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本，请参见升级实例版本...

为什么消息已经过期还未被删除？

问题现象您发送的消息在服务端...磁盘容量充足，使用率低于75%，云消息队列 Kafka 版设置的集中清理消息的时间还未到，消息不会被删除。说明磁盘使用率低于75%时，在每天凌晨4点，云消息队列 Kafka 版集中删除超过消息保留时长的消息。

如何快速测试云消息队列 Kafka 版服务端是否正常？

在创建并部署 云消息队列 Kafka 版实例后，您可以使用 云消息队列 Kafka 版控制台直接发送消息，快速测试服务端是否正常。前提条件您已创建并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。操作流程快速测试 云消息队列 ...

创建前提

AliyunKafkaFullAccess：管理 云消息队列 Kafka 版的权限。AliyunFCFullAccess：管理函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...

服务关联角色

本文介绍 云消息队列 Kafka 版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息服务关联角色是某个云服务在某些情况下，为了完成自身的某个功能，需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

SSL证书算法升级说明

前提条件您已购买 云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在 云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

购买和部署实例

获取云消息队列 Kafka 版访问授权。步骤一：购买实例登录云消息队列 Confluent 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，然后单击购买实例。在请选择您要创建的实例的付费方式面板，选择实例系列为 ...

变更消息配置

配置信息 云消息队列 Kafka 版支持修改消息保留时长、最大消息大小、消费位点保留时间、SSL证书算法位数等信息，请您按需设置消息配置信息。参数描述消息保留时长在磁盘容量充足的情况下，消息的最大保留时长。磁盘容量不足（即磁盘...

按量计费转包年包月

前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

实例规格配置和管理

前提条件您已购买 云消息队列 Kafka 版 V3系列Serverless实例，且实例处于服务中状态。规格配置说明配置项含义变更方式流量规格发送能力预留消息生产预留规格，生产弹性上限为此数值的2倍，超出生产弹性上限的部分将会被限流。...

升级实例版本

前提条件 云消息队列 Kafka 版实例的状态为服务中。背景信息升级大版本升级大版本是指跨版本升级，例如将 云消息队列 Kafka 版实例的版本从0.10.x版本升级至2.x版本。重要目前新部署实例仅支持2.x版本，存量0.10.x可正常使用。由于2....

监控数据相关问题

本文汇总了 云消息队列 Kafka 版关于监控数据的相关问题。我需要关注哪些指标项？一般情况下，您只需关注以下指标项：实例消息生产流量 Topic消息生产流量 Group未消费消息总数其他指标项（如实例/Topic消息生产条数、实例/Topic消息生产...

重置消费位点

前提条件已停止所有Consumer客户端（云消息队列 Kafka 版不支持在线重置消费位点）。重要在停止Consumer客户端后，需要经过 ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG 配置的时间（默认10000 ms），服务端才认为Consumer真正下线。背景...

云消息队列 Kafka 版支持被审计的事件说明

云消息队列 Kafka 版已与操作审计服务集成，您可以在操作审计中查询操作 云消息队列 Kafka 版产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。事件...

消息查询

注意事项查询到的每条消息在 云消息队列 Kafka 版控制台上最多显示1 KB的内容，超过1 KB的部分将自动截断。如需查看完整的消息内容，请下载相应的消息，下载的消息最大为10 MB，如果超过10 MB，则只下载10 MB的内容。查询结果最多显示10...

续费操作

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

新增分区时对应的Topic数量额度

可使用的Topic数量与总分区数强相关。例如，您已购买了分区数为50、流量规格为alikafka.hw.2xlarge、规格内赠送分区数为1000的实例，那么该...云消息队列 Kafka 版 Serverless实例不受此项限制。购买分区的操作步骤，请参见升级实例配置。

创建FC Sink Connector

前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您已开通函数计算服务，具体操作，请参见开通服务。开通事件总线EventBridge并授权。什么是函数计算？函数计算...

实例规格

本文说明 云消息队列 Kafka 版支持的规格类型，以便您根据实际业务需求选择合适的实例规格。实例规格类型 云消息队列 Kafka 版实例规格类型如下：项目标准版（高写版）专业版（高写版）专业版（高读版）版本支持部署2.x版本。如需升级...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

如何处理不活跃的Topic

上述2个关键指标可通过下列2种方式获取：通过管理控制台查看Topic信息登录 云消息队列 Kafka 版控制台。在顶部菜单栏，选择地域。在左侧导航栏，单击实例列表，单击需要查询的Kafka实例名称。在实例详情页面，单击左侧导航栏中的 Topic...

为什么消费位点过期了却仍未被删除？

问题现象 2.2.0及以上 云消息队列 Kafka 版服务端版本，某Group下的消费位点已经超过了我设置的消费位点保留时间，但却未被删除，还可以在 云消息队列 Kafka 版控制台的订阅关系里看到对应的消费位点。说明消费位点保留时长是消费位点...

查看实例风险

云消息队列 Kafka 版实例的实时诊断功能能够定期对实例进行检测，支持查看诊断发现的问题、提供修复建议，并将异常的检查项上报告警给相关联系人，帮助您及时处理异常。实现方案检测项说明若检测出实例存在风险，请参考控制台上提示的...

标签管理

本文介绍如何为 云消息队列 Kafka 版的实例、Topic、Group 等资源绑定标签，从而帮助您根据标签给资源归类，高效管理资源。背景信息标签由标签键和标签值组成，可以标记 云消息队列 Kafka 版的资源。如果您的账号下有多种 云消息队列 ...

为什么需要升级实例来支持监控告警功能？

在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

续费操作

登录 云消息队列 Kafka 版控制台，在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击概览区域右上角的续费。在续费面板，选择购买时长，并选中消息队列 Kafka（包年包月）服务...

API概览

本产品（云消息队列 Kafka 版/2019-09-16）的OpenAPI采用 RPC 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...

什么是云消息队列 Kafka 版？

云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势 云消息队列 Kafka 版针对开源的Apache Kafka提供全托管服务，解决开源产品的痛点。有了云...

自动化创建Topic相关问题

本文汇总了 云消息队列 Kafka 版关于自动创建Topic的相关问题。是否可以自动化创建Topic？可以，但不建议。云消息队列 Kafka 版通过阿里云控制台和OpenAPI管理Topic数据，目前不支持也不建议自动化创建Topic，主要原因如下：自动化创建...

自动创建Topic

前提条件您已购买并部署 云消息队列 Kafka 版实例，且该实例必须满足以下条件：项目说明状态服务中版本大版本为2.2.0或以上版本，小版本为最新版本。说明您可以在 云消息队列 Kafka 版控制台的实例详情页面的基础信息区域查看...

消息队列Kafka版系统权限策略参考

本文描述消息队列Kafka版支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...

如何选择实例规格？

云消息队列 Kafka 版提供两种实例规格类型：标准版和专业版。您可以根据自建迁移情况选择实例规格。标准版流量规格：集群流量的总量÷3（优化）磁盘大小：流量均值×存储时长×3（备份）分区数量：根据实际业务需求说明建议您在迁移...

内容分割

支持进行数据清洗的产品包含云消息队列 RocketMQ 版、云消息队列 Kafka 版、云消息队列 MQTT 版、云消息队列 RabbitMQ 版消息服务。数据清洗任务创建完成后，您可以登录函数计算控制台，进行代码自定义及相应函数配置的修改。算子算子...

为什么在控制台看不到消费者的客户端信息？

问题现象在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，或者在 Group 详情页面的消费状态页签，查看消费详情中的客户端信息为 n/a。可能原因订阅该Topic分区的消费线程已经离线。Group触发Rebalance机制。...

内容映射

支持进行数据清洗的产品包含云消息队列 RocketMQ 版、云消息队列 Kafka 版、云消息队列 MQTT 版、云消息队列 RabbitMQ 版消息服务。数据清洗任务创建完成后，您可以登录函数计算控制台，进行代码自定义及相应函数配置的修改。算子算子...

创建SLS Sink Connector

本文介绍如何创建使用SLS Sink Connector，您可通过SLS Sink Connector将数据从 云消息队列 Kafka 版实例的数据源Topic导出至日志服务SLS。前提条件详细步骤，请参见创建前提。步骤一：创建目标服务资源创建日志项目（Project）。详细...

kafka监控安装

新品推荐