kafka 消息堆积是什么-kafka 消息堆积是什么文档介绍内容-阿里云

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

计费概述

说明 云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，阿里云不承诺Connector的SLA，使用Connector所依赖的其他产品的SLA和费用说明请以对应...

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

云上迁移Topic

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的Topic迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云...

为什么消费客户端频繁出现Rebalance？

可能是 云消息队列 Kafka 版客户端版本过低或者Consumer没有独立线程维持心跳。问题现象使用 云消息队列 Kafka 版时，消费客户端频繁出现Rebalance。可能原因可能导致故障的原因包括：v0.10.2之前版本的客户端：Consumer没有独立线程...

服务支持

本文汇总了 云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

配置白名单

您可以设置访问 云消息队列 Kafka 版的白名单，配置在白名单中的IP地址与端口才允许访问 云消息队列 Kafka 版实例。前提条件您已购买 云消息队列 Kafka 版实例，且该实例处于服务中的状态。注意事项公网/VPC类型的实例默认白名单为0...

查看消费明细

如果您对 云消息队列 Kafka 版服务的消费情况产生疑问，可以查看消费明细。查看费用账单登录 云消息队列 Kafka 版控制台。在页面右上角，选择费用>用户中心。在左侧导航栏，按需选择账单管理目录下的账单维度，查看您的消费信息。月...

创建RabbitMQ Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 RabbitMQ 版中的数据快速导入至 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

创建MQTT Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 MQTT 版中的数据快速导入至 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买...

Topic的存储有哪些类型？

云存储和Local存储。云消息队列 Kafka 版实例支持云存储和Local存储。详情请参见存储引擎对比。

如何获取部署实例时需要的VPC信息？

在交换机页面，查看以下信息：交换机实例ID/名称专有网络可用区说明请根据该页面的可用区（A～G）在 云消息队列 Kafka 版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在可用区B，那么在 云消息队列 Kafka...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署 云消息队列 Kafka 版...

开发参考

本文介绍 云消息队列 Kafka 版的SDK和API及Terraform的支持情况，供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform

实践教程

针对各种业务需求，云消息队列 Kafka 版提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程最佳实践生态对接

流式数据通道概述

什么是云消息队列 Kafka 版？默认使用批量数据通道，支持流式数据通道模式，需要联系Kafka值班同学后台打开。LogStash日志采集端：使用Logstash（流式数据传输）。MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 版发送消息。前提条件购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...

Filebeat发送失败问题

问题现象在 云消息队列 Kafka 版控制台的 Topic 管理页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...

降低实例配置

如果您的 云消息队列 Kafka 版实例的公网流量消耗远小于购买的公网流量配置，或者分区的使用量远小于购买的分区数量，您可以降低公网流量和分区数量配置，从而节约成本。本文介绍如何在 云消息队列 Kafka 版控制台降低实例的公网流量、...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。更多信息，请参见 VPC...

如何进行发送消息的测试？

您可以直接在 云消息队列 Kafka 版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息，进行消息发送测试，以验证集群是否运转正常。

报警项状态显示数据不足怎么办？

可能原因老版 云消息队列 Kafka 版实例不支持报警数据上报。解决方案登录 云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击配置信息页签，然后单击...

创建RabbitMQ Sink Connector

MQ_INST_115964845466*_ByBeUp3p Topic 选择生产 云消息队列 Kafka 版消息的Topic。topic Group ID 选择源实例的消费组名称。请使用独立的消费组来创建事件源，不要和已有的业务混用消费组，以免影响已有的消息收发。GID_http_1 并发配额...

为什么在控制台看不到Group的订阅关系？

问题现象您已启动某个Group的消费线程，但在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，查不到Topic被Group订阅的信息，或者在 Group 详情页面的消费状态页签，查不到该Group订阅的Topic信息。可能原因客户端...

创建RocketMQ Sink Connector

MQ_INST_115964845466*_ByBeUp3p Topic 选择生产 云消息队列 Kafka 版消息的Topic。topic Group ID 选择源实例的消费组名称。请使用独立的消费组来创建事件源，不要和已有的业务混用消费组，以免影响已有的消息收发。GID_http_1 并发配额...

【通知】V2系列Serverless实例退市公告

云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...

创建RocketMQ Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入任务，将云消息队列 RocketMQ 版的数据快速导入至 云消息队列 Kafka 版。前提条件您已购买Kafka实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。您已...

使用限制

云消息队列 Kafka 版对某些具体指标进行了约束和规范，您在使用 云消息队列 Kafka 版时注意不要超过相应的限制值，以免程序出现异常。重要若由于您的实例配置超出使用限制导致的任何不稳定情况，不在SLA承诺和赔偿范围内。云消息队列 ...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

创建MNS Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入任务，将消息服务MNS 中的数据快速导入 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。...

购买和部署实例

获取云消息队列 Kafka 版访问授权。步骤一：购买实例登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，然后单击购买实例。在请选择您要创建的实例的付费方式面板，选择实例系列为 Confluent ...

开启ACL

云消息队列 Kafka 版专业版实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为专业版。实例运行状态为服务中。实例大版本为2.2.0版本及以上。如何升级实例大版本，请参见升级...

访问链接与端口

开启公网登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向 云消息队列 Kafka 版发送消息。前提条件在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版实例。具体操作，请参见 ...

Topic引流

您在升级 云消息队列 Kafka 版实例的流量规格时，可能会触发集群横向扩容。集群横向扩容完成后，您需要进行Topic引流，使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上，原有的Topic的峰值流量...

消息队列Kafka版

本文介绍如何在云消息队列 RocketMQ 版控制台创建流出目标为 云消息队列 Kafka 版的消息流出任务。前提条件您已购买云消息队列 RocketMQ 版实例，且实例处于服务中状态。具体步骤，请参见创建资源。您已购买并部署 云消息队列 ...

授权信息

以下仅列举产品级的条件关键字，阿里云定义的通用条件关键字也同样适用 消息队列Kafka版（AliKafka）。其中，数据类型决定了您可以使用哪些条件运算符将请求中的值与权限策略语句中的值进行比较。您必须使用与数据类型匹配的条件运算符，...

RAM跨云账号授权

背景信息企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版所有者。企业A希望可以授权企业B来...

kafka 消息堆积是什么

新品推荐