阿里云kafka 消息堆积如何使用-阿里云kafka 消息堆积如何使用文档介绍内容-阿里云

开启ACL

云消息队列 Kafka 版 V2系列专业版和V3系列Serverless 实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为V2系列专业版或V3系列Serverless版。实例运行状态为服务中。实例大...

查看接入点

如需使用SDK接入 云消息队列 Kafka 版收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版控制台查看接入点。背景信息 云消息队列 Kafka 版提供以下类型的接入点：默认接入点：适用于在VPC环境...

实例规格配置和管理

前提条件您已购买 云消息队列 Kafka 版 V3系列Serverless实例，且实例处于服务中状态。规格配置说明配置项含义变更方式流量规格发送能力预留消息生产预留规格，生产弹性上限为此数值的2倍，超出生产弹性上限的部分将会被限流。...

管理预警联系人

添加预警联系人登录 云消息队列 Kafka 版控制台。在左侧导航栏，选择常用工具/链接>预警联系人。在预警联系人页面，单击添加联系人。在添加联系人面板，填写以下信息，然后单击确定。参数描述姓名联系人姓名。手机号码联系人...

DescribeSaslUsers-查询SASL用户

消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。scram Password string 密码。Username string 用户名。test12*Mechanism string 加密方式。说明该字段仅 V3 系列（Serverless）实例支持。SCRAM-SHA-256 示例正常返回示例 JSON ...

DeleteSaslUser-删除SASL用户

消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。scram Mechanism string 否加密方式。取值：SCRAM-SHA-512（默认选中）SCRAM-SHA-256 说明该参数仅支持 V3 系列（Serverless）实例。SCRAM-SHA-256 返回参数名称类型描述示例...

如何处理不活跃的Topic

上述2个关键指标可通过下列2种方式获取：通过管理控制台查看Topic信息登录 云消息队列 Kafka 版控制台。在顶部菜单栏，选择地域。在左侧导航栏，单击实例列表，单击需要查询的Kafka实例名称。在实例详情页面，单击左侧导航栏中的 Topic...

创建DTS Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入源为数据传输服务DTS的消息流入任务。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。在数据传输服务DTS控制台 ...

查看实例风险

云消息队列 Kafka 版实例的实时诊断功能能够定期对实例进行检测，支持查看诊断发现的问题、提供修复建议，并将异常的检查项上报告警给相关联系人，帮助您及时处理异常。实现方案检测项说明若检测出实例存在风险，请参考控制台上提示的...

如何选择实例规格？

云消息队列 Kafka 版提供两种实例规格类型：标准版和专业版。您可以根据自建迁移情况选择实例规格。标准版流量规格：集群流量的总量÷3（优化）磁盘大小：流量均值×存储时长×3（备份）分区数量：根据实际业务需求说明建议您在迁移...

【通知】V2系列Serverless实例退市公告

云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...

为什么在控制台看不到消费者的客户端信息？

问题现象在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，或者在 Group 详情页面的消费状态页签，查看消费详情中的客户端信息为 n/a。可能原因订阅该Topic分区的消费线程已经离线。Group触发Rebalance机制。...

查看接入点

如需使用客户端连接 云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

EventSourceParameters

sourceKafkaParameters SourceKafkaParameters 事件提供方为云消息队列Kafka版。sourceDTSParameters SourceDTSParameters 事件提供方为数据传输服务DTS。sourceMQTTParameters SourceMQTTParameters 事件提供方为云消息队列MQTT版。

如果已有实例按照Topic规格购买，如何计算Topic、...

云消息队列 Kafka 版不再支持按照Topic规格购买实例。若您的已有实例是按照Topic规格购买 Topic说明如下：不同的流量规格对应不同的Topic或分区数量上限。在默认分区数的基础上，每增购1个Topic，对应增加16个分区。例如，您购买了Topic...

删除Group后仍然收到消息堆积的告警信息

问题现象使用阿里云 云消息队列 Kafka 版时，删除 Group 后，仍然收到消息堆积的告警信息。可能原因发生消息堆积告警信息的原因如下：2.0.0以前的Kafka服务端版本，开源Kafka未提供删除 Group 和消费位点的OpenAPI，因此删除 Group，...

EventSourceConfig

名称类型描述示例值 object EventBridge 触发器的事件源...Kafka：云消息队列 Kafka 版作为触发源。MQTT：云消息队列 MQTT 版作为触发源。DTS：数据传输服务 DTS 作为触发源。说明注意，该字段不可更新，更新时传入该字段将被忽略。MNS

EventSourceConfig

Kafka：云消息队列 Kafka 版作为触发源。MQTT：云消息队列 MQTT 版作为触发源。DTS：数据传输服务 DTS 作为触发源。说明该字段不可更新，更新时传入该字段将被忽略。Default eventSourceParameters EventSourceParameters 自定义事件源...

SourceKafkaParameters

名称类型描述示例值 object EventBridge 消息队列 Kafka 版的自定义事件源参数 ConsumerGroup string 订阅该 Topic 的消费者所对应的 Group ID。DEFAULT_GROUP InstanceId string 消息队列 Kafka 版的实例的 ID。r-8vb64581862c*Network...

为什么Group管理页面的Group变多了？

问题现象在 云消息队列 Kafka 版控制台的 Group 管理页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因若Group的自动创建栏为否，说明此Group创建于 云消息队列 Kafka 版控制台的 Group ...

查看消费状态

更多信息，请参见 使用云消息队列 Kafka 版时出现消息堆积。相关文档如果您希望通过API方式查询消费状态，请参见 GetConsumerProgress-查询消费组消费状态。如果您暂时不想处理堆积的消息，可以通过重置消费位点的方式跳过堆积消息。

弹性策略

前提条件创建并部署 云消息队列 Kafka 版 V3系列实例，且实例处于服务中状态。弹性能力为应对生产环境中多阶梯的流量需求，云消息队列 Kafka 版 V3系列Serverless实例提供弹性伸缩流量规格的能力，您可以通过升配和降配修改发送、订阅...

自由使用Group

注意事项在生产环境，长期开启自由使用Group的功能，可能会由于客户端使用不当出现资源随意使用，导致运维成本增加，并且极易造成系统不稳定，建议您通过 云消息队列 Kafka 版控制台或者调用OpenAPI手动创建Group，进行统一管理。...

为什么不推荐使用Sarama Go客户端收发消息？

问题现象所有Sarama Go版本客户端存在...如果发生了位点重置，产生大量堆积，您可以使用 云消息队列 Kafka 版控制台提供的重置消费位点功能，手动重置消费位点到某一时间点，无需改代码或换Consumer Group。具体操作，请参见重置消费位点。

客户端首次接入如何排查问题？

您可以从网络连通、客户端版本、配置这三个方向进行排查。您的客户端首次接入 消息队列Kafka版，通常会被以下三个问题困扰：网络连通客户端版本配置您可以从上述三个方向，一步一步排查，基本上可以解决99%的问题。

使用RabbitMQ Connector同步RabbitMQ数据

本文介绍如何创建RabbitMQ Connector，将云消息队列 RabbitMQ 版的数据同步至 云消息队列 Kafka 版。前提条件开通事件总线EventBridge并授权。创建RabbitMQ资源。开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见控制台...

新功能发布记录

如何恢复实例 2022-08-01 功能名称功能描述功能类型相关文档 云消息队列 Kafka 版 Serverless正式商业化 云消息队列 Kafka 版 Serverless实例正式商业化使用。调整购买限制：单账号能购买的Serverless实例数量从1调整到100。支持地域为...

消费端从服务端拉取不到消息或拉取消息缓慢

解决方案登录 云消息队列 Kafka 版控制台查询消息。如果能查询到消息，请继续尝试以下步骤。在实例详情页面，单击左侧导航栏的监控报警，查看消费流量是否已达到网络带宽。如果消费流量已经达到网络带宽，您需要扩充网络带宽。检查...

使用MongoDB Connector连接MongoDB数据库

本文介绍如何创建MongoDB Connector，将MongoDB数据库和 云消息队列 Kafka 版的数据进行双向同步。前提条件开通事件总线EventBridge并授权。已开通对象存储OSS服务并创建存储空间（Bucket）。更多信息，请参见控制台创建存储空间。已...

配置消息队列Kafka版实例的参数

注意事项使用此方案将阿里云消息队列Kafka版 接入DTS，会将数据写入到您指定的节点中。若您的源库为MySQL，建议您使用云实例的接入方式将阿里云消息队列Kafka版 接入DTS。目标库为阿里云消息队列Kafka版 时，不支持库表结构迁移 ...

开服地域

本文介绍 云消息队列 Kafka 版的服务地域和各地域功能（Connector、数据处理和消息检索等）开通情况。下表中的表示该功能已在该地域支持，表示暂不支持指定地域。公共云地域名称 RegionId Connector（公测中）数据处理（公测中）消息...

使用Debezium将PostgreSQL数据同步至消息队列Kafka版

本文介绍如何创建Debezium PostgreSQL Source Connector，将PostgreSQL的数据同步至 云消息队列 Kafka 版。使用限制 Debezium PostgreSQL Source Connector只能配置一个Task用于消费源端的CDC数据，不支持并发消费配置。前提条件开通事件...

RAM跨云账号授权

背景信息企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版所有者。企业A希望可以授权企业B来...

EventSourceParameters

名称类型描述示例值 object EventBridge 触发器的自定义事件源参数 sourceDTSParameters SourceDTSParameters 事件源为数据传输服务 DTS 时的自定义参数配置 sourceKafkaParameters SourceKafkaParameters 事件源为消息队列 Kafka 版时...

Topic删除后不能减少分区？

在 云消息队列 Kafka 版控制台，进入实例详情的基础信息区域，在小版本右侧查看实例版本。如果显示为当前版本为最新版本，则无需处理。如果显示为内部版本升级，请单击内部版本升级，完成版本升级。创建->删除->再创建Topic。...

DeadLetterQueue

名称类型描述示例值 object 死信队列资源标识，支持如下云产品作为死信队列：消息服务 MNS 云消息队列 RocketMQ 版 消息队列 Kafka 版事件总线 EventBridge Arn string 死信队列 ARN。acs:mq:cn-shanghai:14319991365*:/instances/MQ_...

SourceKafkaParameters

名称类型描述示例值 object 事件源为云消息队列 Kafka 版时的自定义参数配置。RegionId string 地域 ID。cn-hangzhou InstanceId string 实例 ID。r-8vb64581862c*Topic string Topic 名称。popvip_center_robot_order ConsumerGroup ...

重试和死信

本文介绍事件流支持的重试和死信策略。重试策略重试策略即任务处理过程中出现失败时的重试方式，当前重试策略支持退避重试和指数衰减...说明当前支持将死信发送至云消息队列 RocketMQ 版、消息服务MNS、云消息队列 Kafka 版和事件总线。

Connector插件管理

zendesk confluentinc[source]Premium Connectors kafka-connect-oracle-cdc confluentinc[source]kafka-connect-splunk-s2s confluentinc[source]安装Connector 登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。...

从自建TiDB增量迁移至RDS MySQL

使用阿里云消息队列Kafka版（MQ for Apache Kafka），详情请参见阿里云消息队列Kafka版快速入门。说明为保障正常通信和减少网络延迟对增量数据迁移的影响，部署阿里云消息队列Kafka实例时，需配置和源库服务器相同的专有网络。在自建...

阿里云kafka 消息堆积如何使用

新品推荐