Kafka消费概述
阿里云 日志服务 兼容Kafka消费组协议，您可以使用原生Kafka客户端对 日志服务 进行读操作。概念映射 Kafka 日志服务 描述 Topic Logstore Topic：Kafka用来区分不同类型信息的主题。Logstore：日志服务 中日志的采集、存储和查询单元。...
基于SPL的Kafka消费
本文介绍如何在Kafka消费中使用日志服务SPL语句。原理 在虚拟Topic中添加SPL语句后，当Kafka消费兼容接口接收到虚拟Topic时，会使用虚拟Topic中已添加的SPL语句处理数据，最终KafkaConsumer获取经过SPL处理过的数据。kafkaConsumer->[虚拟...
使用Java实现Kafka消费
本文介绍如何使用Java实现Kafka消费。参数说明 参数 描述 示例 bootstrap.servers 初始连接的集群地址，格式为${project}.${endpoint}:${port}，请根据实际的Project名称及其所在的Endpoint进行配置。更多信息，请参见 服务入口。阿里云VPC...
实时消费Kafka数据
本文以阿里云云消息队列Kafka版为例，具体信息如下。接入点信息：alikafka-post-cn-wwo3hflb*-1-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-wwo3hflb*-2-vpc.alikafka.aliyuncs.com:9092,alikafka-post-cn-wwo3hflb*-3-vpc.alikafka...
使用Confluent-Kafka-C#实现Kafka消费
本文介绍如何使用Confluent-Kafka-C#实现Kafka消费。环境准备 说明 此处以Centos 7为例进行安装。安装dotnet core SDK。yum install dotnet-sdk-3.1 新建dotnet项目。dotnet new console-n myconsumer-o/home/user/projects/myconsumer ...
使用Confluent-Kafka-Go实现Kafka消费
本文介绍如何使用Confluent-Kafka-Go实现Kafka消费。参数说明 参数 描述 示例 bootstrap.servers 初始连接的集群地址，格式为${project}.${endpoint}:${port}，请根据实际的Project名称及其所在的Endpoint进行配置。更多信息，请参见 服务...
使用Sarama-Kafka-Go实现Kafka消费
本文介绍如何使用Sarama-Kafka-Go实现Kafka消费。参数说明 参数 描述 示例 brokers 初始连接的集群地址，格式为${project}.${endpoint}:${port}，请根据实际的Project名称及其所在的Endpoint进行配置。更多信息，请参见 服务入口。阿里云...
使用Confluent-Kafka-Python实现Kafka消费
本文介绍如何使用Confluent-Kafka-Python实现Kafka消费。环境配置 安装confluent-kafka Python客户端。pip install confluent-kafka 参数说明 参数 描述 示例 bootstrap.servers 初始连接的集群地址，格式为${project}.${endpoint}:${port}...
使用Franz-Kafka-Go实现Kafka的消费
本文介绍如何使用Franz-Kafka-Go实现Kafka消费。参数说明 参数 描述 示例 kgo.SeedBrokers 初始连接的集群地址，格式为${project}.${endpoint}:${port}，请根据实际的Project名称及其所在的Endpoint进行配置。更多信息，请参见 服务入口。...
使用Kafka客户端消费订阅数据
A：由于DTS记录的消费位点是接收到Kafka消费客户端执行commit操作的时间点，可能与当前实际消费到的时间点存在一定的时间差。当业务程序或Kafka消费客户端异常中断后，您可以传入自行记录的消费位点以继续消费，避免消费到重复的数据或缺失...
使用Kafka客户端消费订阅数据
A：由于DTS记录的消费位点是接收到Kafka消费客户端执行commit操作的时间点，可能与当前实际消费到的时间点存在一定的时间差。当业务程序或Kafka消费客户端异常中断后，您可以传入自行记录的消费位点以继续消费，避免消费到重复的数据或缺失...
作为Input接入
本文说明如何在VPC环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC接入。下载并安装Filebeat。具体操作，请参见 ...
作为Input接入
本文说明如何在公网环境下通过Filebeat从 云消息队列 Kafka 版 消费消息。背景信息 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 公网和VPC接入。下载并安装Filebeat。具体操作，请...
查看消费明细
如果您对 云消息队列 Kafka 版 服务的消费情况产生疑问，可以查看消费明细。查看费用账单 登录 云消息队列 Kafka 版 控制台。在页面右上角，选择 费用>用户中心。在左侧导航栏，按需选择 账单管理 目录下的账单维度，查看您的消费信息。月...
为什么Group不存在但能消费消息？
问题现象 我在 云消息队列 Kafka 版 控制台 上，未查看到对应的Group，但此Group下却有消费线程在消费消息。可能原因 如果客户端使用 assign 方式消费消息，那么即使不创建Group，也可能消费消息。如果客户端使用 subscribe 方式消费消息，...
重置消费位点
背景信息 云消息队列 Kafka 版 支持以下重置消费位点方式：从最新位点开始消费：不再消费Broker上堆积的消息，将消费位点重置到最新的位置。说明 堆积的消息本身并不会因此被删除，改变的只是消费位点。指定时间点开始消费：将消费位点重置...
迁移消费者程序
本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到 云消息队列 Kafka 版。背景信息 云消息队列 Kafka 版 控制台提供迁移实例功能，您可以使用该功能将自建Kafka集群或其他云Kafka集群的元数据（Topic和Group配置信息）和消息数据同步...
为什么消费客户端频繁出现Rebalance？
可能是 云消息队列 Kafka 版 客户端版本过低或者Consumer没有独立线程维持心跳。问题现象 使用 云消息队列 Kafka 版 时，消费客户端频繁出现Rebalance。可能原因 可能导致故障的原因包括：v0.10.2之前版本的客户端：Consumer没有独立线程...
Kafka Indexing Service
本文介绍如何在E-MapReduce中使用Apache Druid Kafka Indexing Service实时消费Kafka数据。前提条件 已创建E-MapReduce的Druid集群和Kafka集群，详情请参见 创建集群。背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache ...
查看消费状态
查看Topic被订阅的Group 登录 云消息队列 Kafka 版 控制台，在 概览 页面的 资源分布 区域，选择地域。在 实例列表 页面，单击目标实例名称。在左侧导航栏，单击 Topic管理。在 Topic管理 页面，找到目标Topic，在其 操作 列，选择 更多>...
控制台看到的最近消费时间是什么意思？
消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。
作为Input接入
本文说明如何在VPC环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 VPC接入。下载并安装Logstash。具体操作，请参见 ...
订阅者最佳实践
消息重复和消费幂等 云消息队列 Kafka 版 消费的语义是at least once，也就是至少投递一次，保证消息不丢失，但是无法保证消息不重复。在出现网络问题、客户端重启时均有可能造成少量重复消息，此时应用消费端如果对消息重复比较敏感（例如...
云消息队列 Kafka 版服务等级协议
云消息队列 Kafka 版 规定了阿里云向客户提供的阿里云 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案。如需查看 云消息队列 Kafka 版 的服务可用性等级指标及赔偿方案，请参见 云消息队列 Kafka 版服务等级协议。
什么是云消息队列 Kafka 版？
云消息队列 Kafka 版 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。产品优势 云消息队列 ...
作为Input接入
本文说明如何在公网环境下通过Logstash从 云消息队列 Kafka 版 消费消息。前提条件 在开始本教程前，请确保您已完成以下操作：购买并部署 云消息队列 Kafka 版 实例。具体操作，请参见 公网和VPC接入。下载并安装Logstash。具体操作，请...
搭配云HBase和Spark构建一体化数据处理平台
实时计算：通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 版 的消息，写入到云HBase中对外提供在线查询。实时存储与检索：云HBase融合Solr以及Phoenix SQL层能够提供海量的实时存储，以及在线查询检索。批处理、数仓及算法：在线...
评估规格
使用说明 云消息队列 Kafka 版 提供的规格评估功能将根据您输入的自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等，来为您评估并推荐需要的 云消息队列 Kafka 版 实例规格，帮助您提前根据推荐部署 云消息队列 Kafka 版 ...
退款说明
根据计费方式的特点，云消息队列 Kafka 版 资源支持的退款情况如下：包年包月的 云消息队列 Kafka 版 资源如需退款，可在控制台上退订实例。详细信息，请参见 实例生命周期管理。按量计费的 云消息队列 Kafka 版 资源在使用后才支付费用，...
为什么不能登录部署云消息队列 Kafka 版的机器？
云消息队列 Kafka 版 提供全托管免运维服务，您无需登录机器。云消息队列 Kafka 版 是全托管的，由 云消息队列 Kafka 版 专业团队进行运维保障，您无需登录机器。集群的一些基础信息会通过监控告警进行透传。
概述
本文旨在以简单明了的方式引导您快速上手 云消息队列 Kafka 版。操作流程 根据网络类型不同，快速入门的操作流程有所不同，详情请参见 云消息队列 Kafka 版快速入门操作流程。图 1.云消息队列 Kafka 版 快速入门操作流程 操作步骤 具体操作...
产品概述
本文介绍 云消息队列 Kafka 版 的产品动态、产品简介及产品计费。云消息队列 Kafka 版 动态与公告 产品简介 产品计费 云消息队列 Confluent 版 什么是云消息队列 Confluent 版？产品计费
快速入门
如果您首次使用 云消息队列 Kafka 版，您可以参考快速入门文档。快速入门文档 云消息队列 Kafka 版快速入门 云消息队列 Confluent 版快速入门
查看迁移进度
本文说明如何查看自建Kafka集群迁移到 云消息队列 Kafka 版 的进度。前提条件 您已开始自建Kafka集群迁移上云。迁移类型包括：通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 通过元数据文件迁移上云 迁移自建Kafka集群至新实例...
客户端首次接入云消息队列 Kafka 版时出现异常的排查...
详细信息 客户端首次接入云消息队列 Kafka 版时如果出现异常，您可以通过以下三个方面进行排查：网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接云消息队列 Kafka 版的服务端。ECS实例（客户端）与云消息队列 Kafka ...
查看接入点
如需使用SDK接入 云消息队列 Kafka 版 收发消息，您需要根据实例的网络环境类型来配置接入点。本文介绍如何在 云消息队列 Kafka 版 控制台查看接入点。背景信息 云消息队列 Kafka 版 提供以下类型的接入点：默认接入点：适用于在VPC环境...
我使用的Connector组件如何计费？
云消息队列 Kafka 版 的Connector组件处于公测阶段，且独立于 云消息队列 Kafka 版 实例，因此不会在 云消息队列 Kafka 版 侧产生费用。同时阿里云不承诺Connector的SLA，Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。
步骤一：获取访问授权
开通 云消息队列 Kafka 版 服务需要使用阿里云其他云产品中的资源，因此，您需要先授权 云消息队列 Kafka 版 访问您所拥有的其他阿里云资源。前提条件 注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号。背景信息 为了方便您快速...
为什么需要升级实例来支持监控告警功能？
在控制台上可以查看和设置监控告警功能，但是在2018年11月以前部署的 云消息队列 Kafka 版 集群不支持上报监控告警数据，因此需要升级旧版本的 云消息队列 Kafka 版 实例集群，让它可以上报监控告警数据。若您要升级您的 云消息队列 Kafka ...
- 产品推荐
- 这些文档可能帮助您