阿里消息中间件 kafka怎么用-阿里消息中间件 kafka怎么用文档介绍内容-阿里云

是否支持压缩消息？

云消息队列 Kafka 版服务端支持收发压缩消息。如需使用压缩消息，您需要在 云消息队列 Kafka 版的客户端进行设置。在 云消息队列 Kafka 版客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...

云上迁移Group

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将某个 云消息队列 Kafka 版实例的 Group 迁移到另一个 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具JAR文件重要迁移不会删除源 云消息队列 ...

创建Kafka Sink Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建消息流出任务，将指定 云消息队列 Kafka 版实例中的数据导出至其他的 云消息队列 Kafka 版。前提条件您已购买并部署 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见...

将云消息队列 Kafka 版接入阿里云Elasticsearch

云消息队列 Kafka 版 云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更...

查看接入点

如需使用客户端连接 云消息队列 Kafka 版收发消息，您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息；SASL接入点适用于无需对传输链路加密但需对消息收发鉴权；同时需要链路...

创建Kafka Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将指定 云消息队列 Kafka 版实例中的数据快速导入至另外的 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请...

删除Group后仍然收到消息堆积的告警信息

问题现象 使用阿里云 云消息队列 Kafka 版时，删除 Group 后，仍然收到消息堆积的告警信息。可能原因发生消息堆积告警信息的原因如下：2.0.0以前的Kafka服务端版本，开源Kafka未提供删除 Group 和消费位点的OpenAPI，因此删除 Group，...

迁移自建Kafka集群至新实例

您可以将自建Kafka集群元数据导出，然后导入 云消息队列 Kafka 版实例，云消息队列 Kafka 版会根据成功导入的元数据在目标 云消息队列 Kafka 版实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据使用元数据...

验证迁移结果

迁移成功后，目标 云消息队列 Kafka 版实例下会创建对应的Topic和 Group。您可以在 Topic 管理和 Group 管理页面的列表中查看。前提条件您已将自建Kafka集群迁移至 云消息队列 Kafka 版实例中。迁移类型包括：通过命令行迁移迁移...

如何快速使用云消息队列 Kafka 版的Java SDK收发消息

六分钟上手 云消息队列 Kafka 版。文档教程快速入门

不在同一可用区内的ECS实例如何访问云消息队列 Kafka ...

详细信息以非公网的方式访问云消息队列 Kafka 版实例时，必须满足以下两个条件：ECS实例与云消息队列 Kafka 版实例在同一VPC网络实例内。如果ECS实例和云消息队列 Kafka 版实例不在同一个VPC网络实例内，请根据实际情况，重新创建或部署...

迁移Topic上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的Topic迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版实例...

云消息队列 Kafka 版自定义权限策略参考

本文介绍 云消息队列 Kafka 版使用自定义权限策略的场景和策略示例。什么是自定义权限策略在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来...

为什么Group不存在但能消费消息？

解决方案如果客户端使用 assign 方式消费消息或者 云消息队列 Kafka 版实例开启了自由使用Group的功能，请提前在 云消息队列 Kafka 版控制台创建Group。请尽量复用Group，避免创建过多的Group而影响集群的稳定性。Group的数量限制，请...

是否支持延迟消息？

和开源Apache Kafka一样，云消息队列 Kafka 版同样不支持延迟消息。

为什么需要升级实例来支持监控告警功能？

在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...

能否通过公网访问云消息队列 Kafka 版实例？

网络类型为公网/VPC的 云消息队列 Kafka 版实例支持通过公网访问。云消息队列 Kafka 版提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问，请购买公网/VPC实例。如果已购买VPC实例，请升级实例配置，变更VPC实例为公网/VPC实例。更...

升级实例配置

本文介绍如何在 云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

Workers

使用 云消息队列 Kafka 版提供默认值的配置项：plugin.path rest.advertised.port topic.creation.enable listeners 不会传输至Kafka Connect的配置项。sasl.*ssl.*security.*rest.advertised.host.name rest.advertised.listener rest....

无法ping通云消息队列 Kafka 版的接入点

问题描述无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时（Connection timed out）。问题原因为了保证安全，云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时，客户端与Kafka不在同一VPC下。解决...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 版接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置，从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版并收发消息。前提条件安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo，并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...

RAM跨云账号授权

背景信息企业A开通了 云消息队列 Kafka 版，该企业需要企业B代为操作 云消息队列 Kafka 版的资源，例如实例、Topic、Group。企业A的需求如下：企业A希望能专注于业务系统，仅作为 云消息队列 Kafka 版所有者。企业A希望可以授权企业B来...

如何通过代理访问云消息队列 Kafka 版实例

概述暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看详细信息。详细信息 云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

自动创建Topic

自动创建Topic是指当 云消息队列 Kafka 版实例发送请求以获取不存在的Topic元数据时，例如向不存在的Topic发送生产请求，云消息队列 Kafka 版可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景，无需手动重复创建Topic，...

元数据导入

本文介绍如何在 云消息队列 Kafka 版控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版已有实例。前提条件下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例购买并部署公网/VPC实例说明购买实例的规格可...

自由使用Group

注意事项在生产环境，长期开启自由使用Group的功能，可能会由于客户端使用不当出现资源随意使用，导致运维成本增加，并且极易造成系统不稳定，建议您通过 云消息队列 Kafka 版控制台或者调用OpenAPI手动创建Group，进行统一管理。...

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka 版 ...

查看任务执行记录

在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在 云消息队列 Kafka 版控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件创建并部署 云消息队列 Kafka 版 ...

配置白名单

您可以设置访问 云消息队列 Kafka 版的白名单，配置在白名单中的IP地址与端口才允许访问 云消息队列 Kafka 版实例。前提条件您已购买 云消息队列 Kafka 版实例，且该实例处于服务中的状态。注意事项公网/VPC类型的实例默认白名单为0...

服务支持

本文汇总了 云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

查看消费状态

更多信息，请参见 使用云消息队列 Kafka 版时出现消息堆积。相关文档如果您希望通过API方式查询消费状态，请参见 GetConsumerProgress-查询消费组消费状态。如果您暂时不想处理堆积的消息，可以通过重置消费位点的方式跳过堆积消息。

是否支持Compact的日志清理策略？

开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 版实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略，请参见升级大版本。

在Knative上实现Kafka消息推送

前提条件部署Knative 购买并部署 云消息队列 Kafka 版实例重要 云消息队列 Kafka 版实例和Knative必须处于同一VPC内。云消息队列 Kafka 版实例的版本必须为2.0.0或以上。创建Topic 创建 Group 背景信息 Knative是一款基于Kubernetes的...

发布者最佳实践

本文介绍 云消息队列 Kafka 版发布者的最佳实践，帮助您降低发送消息的错误率。本文最佳实践基于Java客户端。对于其他语言的客户端，其基本概念与思想是相通的，但实现细节可能存在差异。发送消息发送消息的示例代码如下：Future...

查看消费明细

如果您对 云消息队列 Kafka 版服务的消费情况产生疑问，可以查看消费明细。查看费用账单登录 云消息队列 Kafka 版控制台。在页面右上角，选择费用>用户中心。在左侧导航栏，按需选择账单管理目录下的账单维度，查看您的消费信息。月...

使用Kafka Connect将SQL Server数据同步至云消息队列 ...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

为什么Group管理页面的Group变多了？

问题现象在 云消息队列 Kafka 版控制台的 Group 管理页面查看您Kafka集群上所有存在的Group时，显示的Group数量多于您手动创建的数量。可能原因若Group的自动创建栏为否，说明此Group创建于 云消息队列 Kafka 版控制台的 Group ...

为什么不推荐使用Sarama Go客户端收发消息？

问题现象所有Sarama Go版本客户端存在...如果发生了位点重置，产生大量堆积，您可以使用 云消息队列 Kafka 版控制台提供的重置消费位点功能，手动重置消费位点到某一时间点，无需改代码或换Consumer Group。具体操作，请参见重置消费位点。

创建MQTT Source Connector

本文介绍如何在 云消息队列 Kafka 版控制台创建流入任务，将云消息队列 MQTT 版中的数据快速导入至 云消息队列 Kafka 版实例中。前提条件您已购买 云消息队列 Kafka 版实例，且实例处于服务中状态。具体步骤，请参见步骤二：购买...

阿里消息中间件 kafka怎么用

新品推荐