自动创建Topic是指当 云消息队列 Kafka 版 实例发送请求以获取不存在的Topic元数据时,例如向不存在的Topic发送生产请求,云消息队列 Kafka 版 可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景,无需手动重复创建Topic,...
您可以直接在 云消息队列 Kafka 版 控制台进行发送消息的测试。您可以在控制台的 Topic管理 页面,单击目标Topic右侧的 发送消息,进行消息发送测试,以验证集群是否运转正常。
本文介绍如何使用Spring Cloud框架接入 云消息队列 Kafka 版 并收发消息。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载 kafka-spring-stream-demo,并将其上传在准备好的Linux操作系统。确保您的 云消息队列 Kafka 版 ...
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在VPC环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。更多信息,请参见 VPC...
借助于阿里云ARMS Prometheus监控服务和Grafana的指标存储和展示能力,云消息队列 Kafka 版 提供仪表盘功能。该功能可帮助您一站式、全方位、多维度地统计和观测指标,进而快速了解业务的运行状态。前提条件 开通ARMS Prometheus监控服务 ...
问题现象 您已启动某个Group的消费线程,但在 云消息队列 Kafka 版 控制台 的 Topic 详情 页面的 订阅关系 页签,查不到Topic被Group订阅的信息,或者在 Group 详情 页面的 消费状态 页签,查不到该Group订阅的Topic信息。可能原因 客户端...
背景信息 Rebalance是 云消息队列 Kafka 版 对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因:当消费者主动新增订阅或者取消订阅时,会触发该Consumer Group内的Rebalance。当Topic的...
云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线,如您目前仍在使用此类型实例,请尽快迁移至V3系列Serverless实例。停止维护 感谢您对 云消息队列 Kafka 版 V2系列Serverless实例的支持!为了提供更稳定、更高性能的...
本教程介绍如何使用Canal将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析,提供增量数据订阅和消费。Canal伪装自己为MySQL Slave,向MySQL Master发送dump请求。MySQL Master收到dump...
在使用云消息队列 Kafka 版时,客户端可能报错,您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权(sasl.mechanisms)...
本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到 云消息队列 Kafka 版。背景信息 云消息队列 Kafka 版 控制台提供迁移实例功能,您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据(Topic和Group配置信息)和消息数据同步...
当使用 云消息队列 Kafka 版 进行消息收发时,您需要在已成功部署的Kafka实例中创建Topic和Group资源。生产者需要将消息发送至指定Topic,消费者通过订阅Topic获取消息进行消费。消费者消费消息时,需要指定Group订阅对应的Topic。Group和...
云消息队列 Kafka 版 可以作为Input接入Filebeat。本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
您在升级 云消息队列 Kafka 版 实例的流量规格时,可能会触发集群横向扩容。集群横向扩容完成后,您需要进行Topic引流,使Topic流量重新均匀分布到扩容后的集群上。否则原有的Topic流量还是打在扩容前的集群节点上,原有的Topic的峰值流量...
Topic总数(分区总数)太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的,分区数太多,会导致存储碎片化严重,集群性能和稳定性都会急剧下降。
本文描述消息队列Kafka版支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制(RAM)...
前提条件 您使用的 云消息队列 Kafka 版 实例类型为 专业版。实例当前为单可用区部署。实例当前读写流量水位没有接近购买规格峰值。实例大版本必须为2.2.0或以上版本,小版本建议您使用最新版本。升级影响 该操作服务不会中断,但可能导致...
获取云消息队列 Kafka 版访问授权。步骤一:购买实例 登录 云消息队列 Kafka 版 控制台,在左侧导航栏,单击 实例列表。在顶部菜单栏,选择地域,然后单击 购买实例。在 请选择您要创建的实例的付费方式 面板,选择 实例系列 为 Confluent ...
云消息队列 Kafka 版 可以作为Output接入Filebeat。本文说明如何在公网环境下通过Filebeat向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
云消息队列 Kafka 版 V2系列专业版 和V3系列Serverless 实例提供ACL功能,您可以在开启此功能后按需为SASL用户授权,通过SASL接入点接入实例。前提条件 实例规格类型为V2系列专业版 或V3系列Serverless版。实例运行状态为 服务中。实例大...
背景信息 企业A开通了 云消息队列 Kafka 版,该企业需要企业B代为操作 云消息队列 Kafka 版 的资源,例如实例、Topic、Group。企业A的需求如下:企业A希望能专注于业务系统,仅作为 云消息队列 Kafka 版 所有者。企业A希望可以授权企业B来...
云消息队列 Kafka 版 可以作为Output接入Logstash。本文说明如何在公网环境下通过Logstash向 云消息队列 Kafka 版 发送消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
名称 类型 描述 示例值 object EventBridge 消息队列 Kafka 版的自定义事件源参数 ConsumerGroup string 订阅该 Topic 的消费者所对应的 Group ID。DEFAULT_GROUP InstanceId string 消息队列 Kafka 版的实例的 ID。r-8vb64581862c*Network...
实时计算:通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 版 的消息,写入到云HBase中对外提供在线查询。实时存储与检索:云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储,以及在线查询检索。批处理、数仓及算法:在线...
开启公网 登录 云消息队列 Kafka 版 控制台,在左侧导航栏,单击 实例列表。在顶部菜单栏,选择地域,在 实例列表 页面单击目标实例名称。在左侧导航栏,单击 访问链接与端口。在目标服务右侧,打开 开启 开关,为服务开启公网。说明 开启...
登录 云消息队列 Kafka 版 控制台,在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,单击目标实例名称。在 实例详情 页面,单击 概览 区域右上角的 续费。在 续费 面板,选择购买时长,并选中 消息队列 Kafka(包年包月)服务...
云消息队列 Kafka 版 标准版与专业版实例支持的开源版本是2.2.0、2.6.2版本,同时兼容对应的2.2.x、2.6.x的客户端。您在购买实例后,可在部署实例时选择2.2.0或2.6.2版本。建议您使用2.2.0及以上的版本。如需升级版本,请参见 升级实例版本...
云消息队列 Kafka 版 可以作为Input接入Logstash。本文说明如何在公网环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 版 实例。具体操作,请参见 ...
AliyunKafkaFullAccess:管理 云消息队列 Kafka 版 的权限。AliyunFCFullAccess:管理 函数计算FC(Function Compute)的权限。AliyunEventBridgeFullAccess:管理 事件总线EventBridge 的权限。目标服务的管理权限。除上述必要权限外,如...
前提条件 创建服务关联角色 角色名称:AliyunServiceRoleForAlikafka 角色策略名称:AliyunServiceRolePolicyForAlikafka 权限说明:允许 云消息队列 Kafka 版 使用该角色访问您的服务(云监控和ARMS服务)以完成云监控和仪表盘相关功能。...
在创建并部署 云消息队列 Kafka 版 实例后,您可以使用 云消息队列 Kafka 版 控制台直接发送消息,快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 版 实例,且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...
本文介绍如何在 云消息队列 RocketMQ 版 控制台创建流出目标为 云消息队列 Kafka 版 的消息流出任务。前提条件 您已购买 云消息队列 RocketMQ 版 实例,且实例处于 服务中 状态。具体步骤,请参见 创建资源。您已购买并部署 云消息队列 ...
问题现象 您发送的消息在服务端...磁盘容量充足,使用率低于75%,云消息队列 Kafka 版 设置的集中清理消息的时间还未到,消息不会被删除。说明 磁盘使用率低于75%时,在每天凌晨4点,云消息队列 Kafka 版 集中删除超过 消息保留时长 的消息。
按量付费模式与购买后是否实际使用无关。您在购买 云消息队列 Kafka 版 按量付费实例后,系统会为您分配相应的实例资源。因此,按量付费模式是以实例单价×服务时间计费的,与您购买后是否使用该实例无关。
前提条件 您已购买 云消息队列 Kafka 版 公网实例,且实例处于 服务中 状态。背景信息 您的实例开启公网时,会启动SSL相关的端口,在 云消息队列 Kafka 版 控制台 的 配置信息 页面可以看到SSL证书算法位数。请根据您的安全需求按需选择...
本文介绍如何使用Ruby SDK通过接入点接入 云消息队列 Kafka 版 并收发消息。环境准备 您已安装Ruby。更多信息,请参见 安装Ruby。安装Ruby依赖库 执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备配置 可选:下载SSL根...
前提条件 您已购买并部署 云消息队列 Kafka 版 实例,且实例运行状态处于 服务中 或 未部署。具体操作,请参见 步骤二:购买和部署实例。注意事项 按量计费转包年包月的过程中,实例始终处于服务中状态,不会因为实例重启而导致服务短暂不...
登录 云消息队列 Kafka 版 控制台,在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,单击目标实例名称。在 实例详情 页面,单击 概览 区域右上角的 续费。在 续费 面板,选择购买时长,并选中 消息队列 Kafka(包年包月)服务...
本文介绍如何使用C#SDK通过接入点接入 云消息队列 Kafka 版 并收发消息。环境配置 您已安装.NET。更多信息,请参见 安装.NET 。安装C#依赖库 执行以下命令安装C#依赖库。dotnet add package-v 1.5.2 Confluent.Kafka 准备配置 可选:下载...
云消息队列 Kafka 版 已与操作审计服务集成,您可以在操作审计中查询操作 云消息队列 Kafka 版 产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。事件...