kafka 运维监控工具-kafka 运维监控工具文档介绍内容-阿里云

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

迁移消费者程序

本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到 云消息队列 Kafka 版。背景信息 云消息队列 Kafka 版控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步...

步骤三：创建资源

当使用 云消息队列 Kafka 版进行消息收发时，您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic，消费者通过订阅Topic获取消息进行消费。消费者消费消息时，需要指定Group订阅对应的Topic。Group和...

使用Canal将MySQL的数据同步至云消息队列 Kafka 版

本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal伪装自己为MySQL Slave，向MySQL Master发送dump请求。MySQL Master收到dump...

数据库运维

堡垒机支持对MySQL、SQL Server、PostgreSQL类型的RDS和MySQL、PostgreSQL、PostgreSQL（兼容Oracle）的PolarDB以及MySQL、SQL Server、PostgreSQL、Oracle类型的自建数据库进行运维和审计，同时运维人员可开启SSH隧道，使用运维令牌进行...

访问链接与端口

开启公网登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

为什么购买了按量付费实例后不使用也要收费？

按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版按量付费实例后，系统会为您分配相应的实例资源。因此，按量付费模式是以实例单价×服务时间计费的，与您购买后是否使用该实例无关。

升级多可用区

前提条件您使用的 云消息队列 Kafka 版实例类型为专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响该操作服务不会中断，但可能导致...

订阅者最佳实践

本文主要介绍 云消息队列 Kafka 版订阅者的最佳实践，帮助您减少消费消息出错的可能性。消费消息基本流程 云消息队列 Kafka 版订阅者在订阅消息时的基本流程为：Poll数据→执行消费逻辑→再次Poll数据，详情参见下图。负载均衡每个 ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

生态对接概述

本文介绍 云消息队列 Kafka 版支持对接的生态。阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

云上迁移Group

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的 Group 迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具JAR文件重要迁移不会删除源 云消息队列 ...

SSH协议运维

通过PAM运维ECS资产时，您可以通过终端命令行或客户端远程连接工具连接PAM，再通过PAM选择需要运维的ECS资产。本文介绍如何通过SSH协议客户端连接PAM运维资产。运维限制仅支持通过私网IP地址运维，不支持公网IP地址运维。仅轻量版支持使用...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从 云消息队列 Kafka 版消费消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

为什么消息已经过期还未被删除？

问题现象您发送的消息在服务端...磁盘容量充足，使用率低于75%，云消息队列 Kafka 版设置的集中清理消息的时间还未到，消息不会被删除。说明磁盘使用率低于75%时，在每天凌晨4点，云消息队列 Kafka 版集中删除超过消息保留时长的消息。

服务关联角色

本文介绍 云消息队列 Kafka 版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息服务关联角色是某个云服务在某些情况下，为了完成自身的某个功能，需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台...

迁移Topic上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版实例...

RDP协议运维

通过PAM运维ECS资产时，您可以通过终端命令行或客户端远程连接工具连接PAM，再通过PAM选择需要运维的ECS资产。本文介绍如何通过RDP协议客户端连接PAM运维资产。运维限制仅支持通过私网IP地址运维，不支持公网IP地址运维。仅轻量版支持使用...

实例支持哪些开源版本？

云消息队列 Kafka 版标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本，同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后，可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本，请参见升级实例版本...

关联移动运维监控与Trace服务

在日志服务中开启了移动运维监控与Trace服务，且在移动端SDK中开启了Trace、崩溃插件后，如果客户端应用发生崩溃、ANR，则SDK会在Trace链路中产生一条描述崩溃或ANR的记录。通过该记录，您可以对移动运维监控和Trace服务进行关联。本文介绍...

为什么需要升级实例来支持监控告警功能？

在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

如何快速测试云消息队列 Kafka 版服务端是否正常？

在创建并部署 云消息队列 Kafka 版实例后，您可以使用 云消息队列 Kafka 版控制台直接发送消息，快速测试服务端是否正常。前提条件您已创建并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。操作流程快速测试 云消息队列 ...

SSH协议运维

通过客户端方式运维主机资产时，您可以使用终端命令行工具或客户端远程连接工具连接堡垒机，再通过堡垒机选择需要运维的主机资产。本文介绍如何在Windows系统通过SSH协议客户端连接堡垒机运维资产。前提条件已在堡垒机导入资产及用户，并...

移动运维监控简介

本视频介绍移动运维监控功能。

SSL证书算法升级说明

前提条件您已购买 云消息队列 Kafka 版公网实例，且实例处于服务中状态。背景信息您的实例开启公网时，会启动SSL相关的端口，在 云消息队列 Kafka 版控制台的配置信息页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...

运维审计

堡垒机通过对堡垒机系统运维操作（系统登录日志、系统配置修改日志等）和资产运维会话（会话录像、字符命令等）等全方位审计，最大化保障企业运维安全。审计类型对堡垒机系统的操作审计堡垒机会记录用户登录堡垒机系统、修改堡垒机配置等...

SSH协议运维

通过客户端方式运维主机资产时，您可以使用终端命令行工具或客户端远程连接工具连接堡垒机，再通过堡垒机选择需要运维的主机资产。本文介绍如何在Mac系统通过SSH协议客户端连接堡垒机运维资产。前提条件已在堡垒机导入资产及用户，并将...

ACL授权

ACL授权登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在实例列表页面，单击目标实例名称。在左侧导航栏，选择用户管理，单击目标用户右侧操作列的授权。配置项说明资源类型实例：对集群授权。Topic：对某一个...

创建前提

AliyunKafkaFullAccess：管理 云消息队列 Kafka 版的权限。AliyunFCFullAccess：管理函数计算FC（Function Compute）的权限。AliyunEventBridgeFullAccess：管理事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外，如...

C# SDK收发消息

本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境配置您已安装.NET。更多信息，请参见安装.NET 。安装C#依赖库执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置可选：下载...

按量计费转包年包月

前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例运行状态处于服务中或未部署。具体操作，请参见步骤二：购买和部署实例。注意事项按量计费转包年包月的过程中，实例始终处于服务中状态，不会因为实例重启而导致服务短暂不...

实例规格配置和管理

前提条件您已购买 云消息队列 Kafka 版 V3系列Serverless实例，且实例处于服务中状态。规格配置说明配置项含义变更方式流量规格发送能力预留消息生产预留规格，生产弹性上限为此数值的2倍，超出生产弹性上限的部分将会被限流。...

升级实例版本

前提条件 云消息队列 Kafka 版实例的状态为服务中。背景信息升级大版本升级大版本是指跨版本升级，例如将 云消息队列 Kafka 版实例的版本从0.10.x版本升级至2.x版本。重要目前新部署实例仅支持2.x版本，存量0.10.x可正常使用。由于2....

Ruby SDK收发消息

本文介绍如何使用Ruby SDK通过接入点接入 云消息队列 Kafka 版并收发消息。环境准备您已安装Ruby。更多信息，请参见安装Ruby。安装Ruby依赖库执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备配置可选：下载SSL根...

重置消费位点

前提条件已停止所有Consumer客户端（云消息队列 Kafka 版不支持在线重置消费位点）。重要在停止Consumer客户端后，需要经过 ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG 配置的时间（默认10000 ms），服务端才认为Consumer真正下线。背景...

消息查询

注意事项查询到的每条消息在 云消息队列 Kafka 版控制台上最多显示1 KB的内容，超过1 KB的部分将自动截断。如需查看完整的消息内容，请下载相应的消息，下载的消息最大为10 MB，如果超过10 MB，则只下载10 MB的内容。查询结果最多显示10...

新增分区时对应的Topic数量额度

可使用的Topic数量与总分区数强相关。例如，您已购买了分区数为50、流量规格为alikafka.hw.2xlarge、规格内赠送分区数为1000的实例，那么该...云消息队列 Kafka 版 Serverless实例不受此项限制。购买分区的操作步骤，请参见升级实例配置。

kafka 运维监控工具

新品推荐