什么是云消息队列 Kafka

三分钟了解阿里云 云消息队列 Kafka

验证迁移结果

迁移成功后,目标 云消息队列 Kafka 实例下会创建对应的Topic和 Group。您可以在 Topic 管理 和 Group 管理 页面的列表中查看。前提条件 您已将自建Kafka集群迁移至 云消息队列 Kafka 实例中。迁移类型包括:通过命令行迁移 迁移...

使用云消息队列 Kafka 时出现“Not authorized to ...

问题描述 使用云消息队列 Kafka 时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式创建Consumer Group。在云消息队列 Kafka 的控制台...

查看接入点

如需使用客户端连接 云消息队列 Kafka 收发消息,您需要根据客户端的网络环境类型及传输的安全需要来配置接入点。默认接入点适用于在保密性较高的VPC环境收发消息;SASL接入点适用于无需对传输链路加密但需对消息收发鉴权;同时需要链路...

为什么额外增加分区要收费?

消息队列 Kafka 优化了集群增加大量分区后带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000后,集群性能开始急剧下降,遭遇性能瓶颈。阿里云 云消息队列 Kafka 对此进行了优化,单个集群的分区数理论上没有上限。但...

能否通过公网访问云消息队列 Kafka 实例?

网络类型为公网/VPC的 云消息队列 Kafka 实例支持通过公网访问。云消息队列 Kafka 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请购买公网/VPC实例。如果已购买VPC实例,请升级实例配置,变更VPC实例为公网/VPC实例。更...

从自建MySQL同步至云消息队列 Kafka

通过数据传输服务DTS(Data Transmission Service),您可以将自建MySQL同步至 云消息队列 Kafka ,扩展消息处理能力。前提条件 您已完成以下操作:自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署 云消息队列 ...

是否支持Compact的日志清理策略?

开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。开源版本为2.2.0或以上的 云消息队列 Kafka 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略,请参见 升级大版本。

使用限制

消息队列 Kafka 对某些具体指标进行了约束和规范,您在使用 云消息队列 Kafka 时注意不要超过相应的限制值,以免程序出现异常。重要 若由于您的实例配置超出使用限制导致的任何不稳定情况,不在SLA承诺和赔偿范围内。云消息队列 ...

为什么Group不存在但能消费消息

问题现象 我在 云消息队列 Kafka 控制台 上,未查看到对应的Group,但此Group下却有消费线程在消费消息。可能原因 如果客户端使用 assign 方式消费消息,那么即使不创建Group,也可能消费消息。如果客户端使用 subscribe 方式消费消息,...

升级实例配置

本文介绍如何在 云消息队列 Kafka 控制台完成实例升配,升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件 实例处于 服务中 或 未部署 状态。实例中没有进行中的Topic引流任务。注意事项 升级实例配置会引发集群逐台...

迁移Group上云

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将自建Kafka集群的 Group 迁移到 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云消息队列 Kafka ...

接入Filebeat

本文介绍如何将 云消息队列 Kafka 接入Filebeat。Filebeat Filebeat是用于转发和集中日志数据的轻量级传输程序。Filebeat可以监听指定的日志文件或位置,从中收集日志事件并将其转发到Elasticsearch或Logstash进行索引。Filebeat的工作...

如何快速使用云消息队列 Kafka 的Java SDK收发消息

六分钟上手 云消息队列 Kafka 。文档教程 快速入门

为什么Group管理页面的Group变多了?

问题现象 在 云消息队列 Kafka 控制台 的 Group 管理 页面查看您Kafka集群上所有存在的Group时,显示的Group数量多于您手动创建的数量。可能原因 若Group的 自动创建 栏为 否,说明此Group创建于 云消息队列 Kafka 控制台 的 Group ...

是否支持延迟消息

和开源Apache Kafka一样,云消息队列 Kafka 同样不支持延迟消息。

计费概述

本文介绍 云消息队列 Kafka 的计费方式,帮助您快速了解计费详情,按需选择计费方式。说明 云消息队列 Kafka 的Connector组件依赖于 事件总线,云消息队列 Kafka 不会额外收取费用。事件总线 的计费说明,请参见 计费说明。同时,...

无法ping通云消息队列 Kafka 的接入点

问题描述 无法ping通云消息队列 Kafka 的接入点。本地客户端无法telnet Kafka或提示连接超时(Connection timed out)。问题原因 为了保证安全,云消息队列 Kafka 集群默认禁ping。连接VPC接入点时,客户端与Kafka不在同一VPC下。解决...

配置消息队列Kafka版实例的参数

本文为您介绍目标数据库实例为 专线/VPN网关/智能网关 方式接入的 阿里云消息队列Kafka版 时,部分特殊参数的配置方法和获取方式。注意事项 使用此方案将 阿里云消息队列Kafka版 接入DTS,会将数据写入到您指定的节点中。若您的源库为MySQL...

如何通过代理访问云消息队列 Kafka 实例

概述 暂不支持通过代理访问云消息队列 Kafka 实例,具体请查看 详细信息。详细信息 云消息队列 Kafka 的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

自由使用Group

前提条件 您已购买并部署 云消息队列 Kafka 实例,且该实例必须满足以下条件:项目 说明 状态 服务中。版本 大版本为2.2.0,且小版本为最新版本。说明 您可以在 云消息队列 Kafka 控制台的 实例详情 页面的 基础信息 区域查看实例的...

云上迁移Topic

本文介绍如何使用 云消息队列 Kafka 提供的迁移工具将某个 云消息队列 Kafka 实例的Topic迁移到另一个 云消息队列 Kafka 实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署 云...

服务支持

本文汇总了 云消息队列 Kafka 的常见问题与以及服务等级协议。服务支持 常见问题 相关协议

查看任务执行记录

在某个实例下发起重启类任务(包括配置变更、版本升级、开启ACL、实例升配)后,您可以在 云消息队列 Kafka 控制台查看重启类任务的执行记录,帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件 创建并部署 云消息队列 Kafka ...

查看消费明细

如果您对 云消息队列 Kafka 服务的消费情况产生疑问,可以查看消费明细。查看费用账单 登录 云消息队列 Kafka 控制台。在页面右上角,选择 费用>用户中心。在左侧导航栏,按需选择 账单管理 目录下的账单维度,查看您的消费信息。月...

查看任务执行记录

在某个实例下发起重启类任务(包括实例升降配、定时任务)后,您可以在 云消息队列 Kafka 控制台查看该实例的重启类任务的执行记录,获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件 创建并部署 云消息队列 Kafka ...

Topic的存储有哪些类型?

云存储和Local存储。云消息队列 Kafka 实例支持云存储和Local存储。详情请参见 存储引擎对比。

开发参考

本文介绍 云消息队列 Kafka 的SDK和API及Terraform的支持情况,供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform

如何获取部署实例时需要的VPC信息?

在 交换机 页面,查看以下信息:交换机 实例ID/名称 专有网络 可用区 说明 请根据该页面的可用区(A~G)在 云消息队列 Kafka 控制台中选择对应的可用区(A~G)。例如,某VPC交换机(vSwitch)显示在 可用区B,那么在 云消息队列 Kafka...

使用Kafka Connect将SQL Server数据同步至云消息队列...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至 云消息队列 Kafka 。前提条件 在开始本教程前,请确保您已完成以下操作:已下载SQL Server Source Connector。具体信息,请参见 SQL Server Source ...

实践教程

针对各种业务需求,云消息队列 Kafka 提供相关的实践教程,您可以根据本文查看适合您业务的实践教程文档。实践教程 最佳实践 生态对接

为什么Group的状态一直处于“删除中”?

问题现象 在 云消息队列 Kafka 控制台 的 Group 管理 页面删除Group后,此Group的状态一直处于 删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案 登录 云消息队列 Kafka 控制台,查看...

设置实例到期欠费预警提醒通知

欠费预警接收设置 登录 云消息队列 Kafka 控制台。单击页面右上方的 图标,进入 消息中心 页面。在左侧导航栏,单击 基本接收管理。在 基本接收管理 页面的 消息类型 中勾选 产品的欠费、停服、即将释放相关信息通知,单击 修改。在 ...

将云消息队列 Kafka 接入阿里云Elasticsearch

随着时间的积累,云消息队列 Kafka 中的日志数据会越来越多。当您需要查看并分析庞杂的日志数据时,可通过阿里云Logstash将 云消息队列 Kafka 中的日志数据导入阿里云Elasticsearch,然后通过Kibana进行可视化展示与分析。本文介绍将...

Filebeat发送失败问题

问题现象 在 云消息队列 Kafka 控制台 的 Topic 管理 页面,您已成功创建Topic,但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...

降低实例配置

如果您的 云消息队列 Kafka 实例的公网流量消耗远小于购买的公网流量配置,或者分区的使用量远小于购买的分区数量,您可以降低公网流量和分区数量配置,从而节约成本。本文介绍如何在 云消息队列 Kafka 控制台降低实例的公网流量、...

作为Output接入

消息队列 Kafka 可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向 云消息队列 Kafka 发送消息。前提条件 购买并部署 云消息队列 Kafka 实例。具体操作,请参见 VPC接入。下载并安装Logstash。具体操作,请...

报警项状态显示数据不足怎么办?

可能原因 老版 云消息队列 Kafka 实例不支持报警数据上报。解决方案 登录 云消息队列 Kafka 控制台。在 概览 页面的 资源分布 区域,选择地域。在 实例列表 页面,单击目标实例名称。在 实例详情 页面,单击 配置信息 页签,然后单击...

作为Input接入

消息队列 Kafka 可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从 云消息队列 Kafka 消费消息。背景信息 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 实例。具体操作,请参见 VPC...

作为Input接入

消息队列 Kafka 可以作为Input接入Logstash。本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 消费消息。前提条件 在开始本教程前,请确保您已完成以下操作:购买并部署 云消息队列 Kafka 实例。具体操作,请参见 VPC...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云消息队列 Kafka 版 云消息队列 RocketMQ 版 阿里邮箱 弹性公网IP 商标服务 短信服务
新人特惠 爆款特惠 最新活动 免费试用