aliyun消息队列Kafka版实现-aliyun消息队列Kafka版实现文档介绍内容-阿里云

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到云消息队列 Kafka 版集群。前提条件您已完成以下操作：下载迁移工具MirrorMaker 迁移Topic上云背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

计费概述

本文介绍云消息队列 Kafka 版的计费方式，帮助您快速了解计费详情，按需选择计费方式。说明云消息队列 Kafka 版的Connector组件依赖于事件总线，云消息队列 Kafka 版不会额外收取费用。事件总线的计费说明，请参见计费说明。同时，...

升级实例配置

本文介绍如何在云消息队列 Kafka 版控制台完成实例升配，升级的配置项包括规格类型、流量规格、磁盘容量及分区规格等。前提条件实例处于服务中或未部署状态。实例中没有进行中的Topic引流任务。注意事项升级实例配置会引发集群逐台...

迁移Group上云

本文介绍如何使用云消息队列 Kafka 版提供的迁移工具将自建Kafka集群的 Group 迁移到云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云消息队列 Kafka 版 ...

服务支持

本文汇总了云消息队列 Kafka 版的常见问题与以及服务等级协议。服务支持常见问题相关协议

从自建MySQL同步至云消息队列 Kafka 版

通过数据传输服务DTS（Data Transmission Service），您可以将自建MySQL同步至云消息队列 Kafka 版，扩展消息处理能力。前提条件您已完成以下操作：自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署云消息队列 ...

无法ping通云消息队列 Kafka 版的接入点

问题描述无法ping通云消息队列 Kafka 版的接入点。本地客户端无法telnet Kafka或提示连接超时（Connection timed out）。问题原因为了保证安全，云消息队列 Kafka 版集群默认禁ping。连接VPC接入点时，客户端与Kafka不在同一VPC下。解决...

如何通过代理访问云消息队列 Kafka 版实例

概述暂不支持通过代理访问云消息队列 Kafka 版实例，具体请查看详细信息。详细信息云消息队列 Kafka 版的客户端访问服务端的原理如下。通过 bootstrap.servers 随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的消息收发。...

自由使用Group

前提条件您已购买并部署云消息队列 Kafka 版实例，且该实例必须满足以下条件：项目说明状态服务中。版本大版本为2.2.0，且小版本为最新版本。说明您可以在云消息队列 Kafka 版控制台的实例详情页面的基础信息区域查看实例的...

默认配置映射关系

映射关系如下：消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body ...

查看消费明细

如果您对云消息队列 Kafka 版服务的消费情况产生疑问，可以查看消费明细。查看费用账单登录云消息队列 Kafka 版控制台。在页面右上角，选择费用>用户中心。在左侧导航栏，按需选择账单管理目录下的账单维度，查看您的消费信息。月...

默认配置映射关系

映射关系如下：消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body ...

查看任务执行记录

在某个实例下发起重启类任务（包括配置变更、版本升级、开启ACL、实例升配）后，您可以在云消息队列 Kafka 版控制台查看重启类任务的执行记录，帮助您跟踪任务进展、定位服务端异常重启原因等。前提条件创建并部署云消息队列 Kafka 版 ...

默认配置映射关系

映射关系如下：消息服务MNS 默认入参目标端类型模式值云消息队列 Kafka 版部分事件$.data.value 云消息队列 RocketMQ 版部分事件$.data.body 云消息队列 RabbitMQ 版部分事件$.data.body 云消息队列 MQTT 版部分事件$.data.body ...

开发参考

本文介绍云消息队列 Kafka 版的SDK和API及Terraform的支持情况，供您进行对应的开发操作。开发参考 API参考指南 SDK参考 Terraform

Topic的存储有哪些类型？

云存储和Local存储。云消息队列 Kafka 版实例支持云存储和Local存储。详情请参见存储引擎对比。

云上迁移Topic

本文介绍如何使用云消息队列 Kafka 版提供的迁移工具将某个云消息队列 Kafka 版实例的Topic迁移到另一个云消息队列 Kafka 版实例。前提条件您已完成以下操作：下载JDK 8 下载迁移工具kafka-migration-assessment.jar 购买并部署云...

实践教程

针对各种业务需求，云消息队列 Kafka 版提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。实践教程最佳实践生态对接

查看任务执行记录

在某个实例下发起重启类任务（包括实例升降配、定时任务）后，您可以在云消息队列 Kafka 版控制台查看该实例的重启类任务的执行记录，获取任务的类型、开始执行时间、结束执行时间、状态等信息。前提条件创建并部署云消息队列 Kafka 版...

在Knative上实现Kafka消息推送

Knative已支持Kafka事件源，您可将Knative与云消息队列 Kafka 版对接，在Knative上实现Kafka消息推送。前提条件部署Knative 购买并部署云消息队列 Kafka 版实例重要云消息队列 Kafka 版实例和Knative必须处于同一VPC内。云消息队列...

如何获取部署实例时需要的VPC信息？

在交换机页面，查看以下信息：交换机实例ID/名称专有网络可用区说明请根据该页面的可用区（A～G）在云消息队列 Kafka 版控制台中选择对应的可用区（A～G）。例如，某VPC交换机（vSwitch）显示在可用区B，那么在云消息队列 Kafka...

SourceKafkaParameters

名称类型描述示例值 object EventBridge 消息队列 Kafka 版的自定义事件源参数 ConsumerGroup string 订阅该 Topic 的消费者所对应的 Group ID。DEFAULT_GROUP InstanceId string 消息队列 Kafka 版的实例的 ID。r-8vb64581862c*Network...

为什么Group的状态一直处于“删除中”？

问题现象在云消息队列 Kafka 版控制台的 Group 管理页面删除Group后，此Group的状态一直处于删除中。可能原因 Group中存在活跃的订阅关系。Group上有消费线程在提交新的消费位点。解决方案登录云消息队列 Kafka 版控制台，查看...

设置实例到期欠费预警提醒通知

欠费预警接收设置登录云消息队列 Kafka 版控制台。单击页面右上方的图标，进入消息中心页面。在左侧导航栏，单击基本接收管理。在基本接收管理页面的消息类型中勾选产品的欠费、停服、即将释放相关信息通知，单击修改。在 ...

Filebeat发送失败问题

问题现象在云消息队列 Kafka 版控制台的 Topic 管理页面，您已成功创建Topic，但使用Filebeat向该Topic发送消息却出现 Request was for a topic or partition that does not exist on this broker.的错误提示。可能原因 Filebeat向...

ALIYUN:ESS:ScalingGroup 函数计算FC ALIYUN:FC:Service 消息队列Kafka版 ALIYUN:KAFKA:Instance 云数据库MongoDB版 ALIYUN:MONGODB:Instance ALIYUN:MONGODB:ServerlessInstance ALIYUN:MONGODB:ShardingInstance 文件存储NAS ALIYUN:NAS:...

预估资源价格

DBInstance ALIYUN:GPDB:ElasticDBInstance API网关API Gateway ALIYUN:ApiGateway:Instance 数据传输服务DTS ALIYUN:DTS:SubscriptionInstance ALIYUN:DTS:SynchronizationJob ALIYUN:DTS:MigrationJob 消息队列Kafka版 ALIYUN:KAFKA:...

报警项状态显示数据不足怎么办？

可能原因老版云消息队列 Kafka 版实例不支持报警数据上报。解决方案登录云消息队列 Kafka 版控制台。在概览页面的资源分布区域，选择地域。在实例列表页面，单击目标实例名称。在实例详情页面，单击配置信息页签，然后单击...

如何进行发送消息的测试？

您可以直接在云消息队列 Kafka 版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面，单击目标Topic右侧的发送消息，进行消息发送测试，以验证集群是否运转正常。

降低实例配置

如果您的云消息队列 Kafka 版实例的公网流量消耗远小于购买的公网流量配置，或者分区的使用量远小于购买的分区数量，您可以降低公网流量和分区数量配置，从而节约成本。本文介绍如何在云消息队列 Kafka 版控制台降低实例的公网流量、...

自动创建Topic

自动创建Topic是指当云消息队列 Kafka 版实例发送请求以获取不存在的Topic元数据时，例如向不存在的Topic发送生产请求，云消息队列 Kafka 版可以自动创建Topic。自动创建Topic适用于迁移上云场景或测试场景，无需手动重复创建Topic，...

查看Rebalance详情

背景信息 Rebalance是云消息队列 Kafka 版对分区和Consumer Group之间的消费对应关系进行重分配的过程。消费客户端出现Rebalance可能是以下原因：当消费者主动新增订阅或者取消订阅时，会触发该Consumer Group内的Rebalance。当Topic的...

为什么在控制台看不到Group的订阅关系？

问题现象您已启动某个Group的消费线程，但在云消息队列 Kafka 版控制台的 Topic 详情页面的订阅关系页签，查不到Topic被Group订阅的信息，或者在 Group 详情页面的消费状态页签，查不到该Group订阅的Topic信息。可能原因客户端...

使用Kafka Connect将SQL Server数据同步至云消息队列...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至云消息队列 Kafka 版。前提条件在开始本教程前，请确保您已完成以下操作：已下载SQL Server Source Connector。具体信息，请参见 SQL Server Source ...

开启ACL

云消息队列 Kafka 版专业版实例提供ACL功能，您可以在开启此功能后按需为SASL用户授权，通过SASL接入点接入实例。前提条件实例规格类型为专业版。实例运行状态为服务中。实例大版本为2.2.0版本及以上。如何升级实例大版本，请参见升级...

【通知】V2系列Serverless实例退市公告

云消息队列 Kafka 版 V2系列Serverless实例将于2024年02月28日正式下线，如您目前仍在使用此类型实例，请尽快迁移至V3系列Serverless实例。停止维护感谢您对云消息队列 Kafka 版 V2系列Serverless实例的支持！为了提供更稳定、更高性能的...

生态对接概述

本文介绍云消息队列 Kafka 版支持对接的生态。阿里云生态云数据库HBase版基于HBase和Spark的数据处理平台阿里云实时计算Flink 基于Flink的资讯场景实时数仓大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步...

将云消息队列 Kafka 版接入阿里云Elasticsearch

当您需要查看并分析庞杂的日志数据时，可通过阿里云Logstash将云消息队列 Kafka 版中的日志数据导入阿里云Elasticsearch，然后通过Kibana进行可视化展示与分析。本文介绍将云消息队列 Kafka 版接入阿里云Elasticsearch的操作方法。前提...

作为Input接入

云消息队列 Kafka 版可以作为Input接入Filebeat。本文说明如何在VPC环境下通过Filebeat从云消息队列 Kafka 版消费消息。背景信息在开始本教程前，请确保您已完成以下操作：购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC...

作为Output接入

云消息队列 Kafka 版可以作为Output接入Logstash。本文说明如何在VPC环境下通过Logstash向云消息队列 Kafka 版发送消息。前提条件购买并部署云消息队列 Kafka 版实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请...

aliyun消息队列Kafka版实现

新品推荐