阿里云kafka 消息堆积如何使用-阿里云kafka 消息堆积如何使用文档介绍内容-阿里云

能否通过公网访问云消息队列 Kafka 版实例？

能否通过公网访问<em>云消息队列</em> <em>Kafka</em> <em>版</em>实例？

网络类型为公网/VPC的 云消息队列 Kafka 版实例支持通过公网访问。云消息队列 Kafka 版提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请购买公网/VPC实例。如果已购买VPC实例，请升级实例配置，变更VPC实例为公网/VPC实例。更...

如何快速使用云消息队列 Kafka 版的Java SDK收发消息

六分钟上手 云消息队列 Kafka 版。文档教程快速入门

为什么消费客户端频繁出现Rebalance？

问题现象使用 云消息队列 Kafka 版时，消费客户端频繁出现Rebalance。可能原因可能导致故障的原因包括：v0.10.2之前版本的客户端：Consumer没有独立线程维持心跳，而是把心跳维持与poll接口耦合在一起。其结果就是，如果用户消费出现...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

默认配置映射关系

目标端类型模式值 云消息队列 Kafka 版部分事件$.data.value 消息服务MNS 部分事件$.data.messageBody 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body 数据传输服务DTS 部分事件$.data 云消息队列 ...

是否支持延迟消息？

和开源Apache Kafka一样，云消息队列 Kafka 版同样不支持延迟消息。

云消息队列 Kafka 版自定义权限策略参考

本文介绍 云消息队列 Kafka 版使用自定义权限策略的场景和策略示例。什么是自定义权限策略在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来...

如何通过代理访问云消息队列 Kafka 版实例

概述暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

步骤一：获取访问授权

开通 云消息队列 Kafka 版服务需要使用阿里云其他云产品中的资源，因此，您需要先授权 云消息队列 Kafka 版访问您所拥有的其他阿里云资源。前提条件注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。背景信息为了方便您快速...

服务支持

本文汇总了 云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

发布者最佳实践

本文介绍 云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

查看任务执行记录

在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在 云消息队列 Kafka 版控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件创建并部署 云消息队列 Kafka 版 ...

迁移上云

云消息队列 Kafka 版提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与 云消息队列 Kafka 版实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。前提条件您已购买并部署 云消息队列...

创建RabbitMQ Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 RabbitMQ 版中的数据快速导入至 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和...

Topic的存储有哪些类型？

云存储和Local存储。云消息队列 Kafka 版实例支持云存储和Local存储。详情请参见存储引擎对比。

如何获取部署实例时需要的VPC信息？

在交换机页面，查看以下信息：交换机实例ID/名称专有网络可用区说明请根据该页面的可用区（A～G）在 云消息队列 Kafka 版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在可用区B，那么在 云消息队列 Kafka...

创建MQTT Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 MQTT 版中的数据快速导入至 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买...

StartInstance-部署实例

如需使用云消息队列 Kafka 版收发消息，需要购买并部署才可使用，本文介绍如何调用StartInstance部署实例。接口说明说明单用户请求频率限制为 2 QPS。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在 云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署 云消息队列 Kafka 版...

开发参考

本文介绍 云消息队列 Kafka 版的SDK和API及Terraform的支持情况，供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform

云消息队列 Kafka 版消息的序列化方式。props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka....

SSL接入点PLAIN机制收发消息

云消息队列 Kafka 版消息的序列化方式。props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka....

实践教程

针对各种业务需求，云消息队列 Kafka 版提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程最佳实践生态对接

设置实例到期欠费预警提醒通知

欠费预警接收设置登录 云消息队列 Kafka 版控制台。单击页面右上方的图标，进入消息中心页面。在左侧导航栏，单击基本接收管理。在基本接收管理页面的消息类型中勾选产品的欠费、停服、即将释放相关信息通知，单击修改。在 ...

为什么Group的状态一直处于“删除中”？

问题现象在 云消息队列 Kafka 版控制台的 Group 管理页面删除Group后，此Group的状态一直处于删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案登录 云消息队列 Kafka 版控制台，查看...

默认接入点收发消息

云消息队列 Kafka 版消息的序列化方式。props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka....

报警项状态显示数据不足怎么办？

可能原因老版 云消息队列 Kafka 版实例不支持报警数据上报。解决方案登录 云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击配置信息页签，然后单击...

升级多可用区

前提条件您使用的 云消息队列 Kafka 版实例类型为专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本，小版本建议您使用最新版本。升级影响该操作服务不会中断，但可能导致...

如何进行发送消息的测试？

您可以直接在 云消息队列 Kafka 版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息，进行消息发送测试，以验证集群是否运转正常。

接入Logstash

本文介绍如何将 云消息队列 Kafka 版接入Logstash。Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、...

使用Terraform管理SASL用户

云消息队列 Kafka 版实例的默认SASL用户仅提供身份校验，支持所有Topic和Group的读写权限。如果需要更细致的权限控制，您需开启ACL，创建SASL用户，按需赋予SASL用户向 云消息队列 Kafka 版收发消息的权限。使用Terraform的 alicloud_...

CreateSaslUser-创建SASL用户

消息队列 Kafka 版使用 SCRAM-SHA-256。默认值为 plain。plain Mechanism string 否加密方式。取值：SCRAM-SHA-512（默认选中）SCRAM-SHA-256 说明该参数仅支持 V3 系列（Serverless）实例。SCRAM-SHA-256 返回参数名称类型描述示例...

为什么在控制台看不到Group的订阅关系？

问题现象您已启动某个Group的消费线程，但在 云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，查不到Topic被Group订阅的信息，或者在 Group 详情页面的消费状态页签，查不到该Group订阅的Topic信息。可能原因客户端...

消息队列Kafka版删除Group后仍然收到消息堆积的告警...

问题描述使用阿里云消息队列Kafka版时，删除Group后，仍然收到消息堆积的告警信息，如何过滤某个Group的消费堆积告警。问题原因发生消息堆积告警信息的原因如下：2.2.0以前的Kafka服务端版本，开源Kafka未提供删除Group和消费位点的Open...

创建MNS Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流入任务，将消息服务MNS 中的数据快速导入 云消息队列 Kafka 版。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买和部署实例。...

访问链接与端口

开启公网登录 云消息队列 Kafka 版控制台，在左侧导航栏，单击实例列表。在顶部菜单栏，选择地域，在实例列表页面单击目标实例名称。在左侧导航栏，单击访问链接与端口。在目标服务右侧，打开开启开关，为服务开启公网。说明开启...

为什么限制Topic总数（分区总数）？

Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

搭配云HBase和Spark构建一体化数据处理平台

实时计算：通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 版的消息，写入到云HBase中对外提供在线查询。实时存储与检索：云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储，以及在线查询检索。批处理、数仓及算法：在线...

阿里云kafka 消息堆积如何使用

新品推荐