聊聊 Kafka: Consumer 源码解析之 poll 模型

聊聊 Kafka: Consumer 源码解析之 poll 模型

一、前言前面的 Kafka 系列文章,我们讲过一篇:聊聊 Kafka:Consumer 源码解析之 ConsumerNetworkClient,那一篇主要讲的是 KafkaConsumer 类以及这个类里最重要的一个属性类 ConsumerNetworkClient。那这一篇我们来讲一下 Kafka...

Kafka 实战开篇-讲解架构模型、基础概念以及集群搭建(下)

Kafka 实战开篇-讲解架构模型、基础概念以及集群搭建(下)

7、连接 ZK 客户端【zkCli.sh】,观察它下面的目录节点,看 Controller 角色对应的是哪一台节点【get /kafka/controller】brokerid =1 ,controller 分配给到了 node2 节点!使用Kafka 集群搭建完毕,现在是如何通过命令方式操作它了1...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图
Kafka 实战开篇-讲解架构模型、基础概念以及集群搭建(上)

Kafka 实战开篇-讲解架构模型、基础概念以及集群搭建(上)

前言什么是 Kafka?是做什么的,官网定义如下:Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked f...

[帮助文档] 消息队列Kafka版的系统架构、发布和订阅模型

本文介绍云消息队列 Kafka 版的系统架构和发布/订阅模型。

Spring Boot集成Kafka动态创建消费者并实现多消费者发布订阅模型

Spring Boot集成Kafka动态创建消费者并实现多消费者发布订阅模型

在Spring Boot集成Kafka时,大家都知道可以使用@KafkaListener注解创建消费者。但是@KafkaListener注解是静态的,意味着在编译时就已经确定了消费者,无法动态地创建消费者。不过事实上,使用Kafka提供的Java API,使用KafkaConsumer类就可以完成消...

【Kafka源码】万字长文详解Kafka网络模型、副本机制(下)

【Kafka源码】万字长文详解Kafka网络模型、副本机制(下)

1.3 网络响应端设计1.3.1 总体架构分析总结下:这个图很清晰的说明我们客户发送一个请求,给服务端, KafkaRquestHadnler 销毁 requestQueue 里面的数据,然后处理完后将结果放到 responseQueue 里面,Processor 会遍历响应队列,然后返回给客户端1...

一文读懂kafka消息拉取机制|线程拉取模型

一文读懂kafka消息拉取机制|线程拉取模型

在详细介绍Kafka拉取之前,我们再来回顾一下消息拉取的整体流程:在消费者加入到消费组后,消费者Leader会根据当前在线消费者个数与分区的数量进行队列负载,每一个消费者获得一部分分区,接下来就是要从Broker服务端将数据拉取下来,提交给消费端进行消费,对应流程中的pollForFetches方法...

面试必问 | 聊聊Kafka的消费模型?

面试必问 | 聊聊Kafka的消费模型?

大家好,我是冰河~~最近,有些读者去头条二面,被面试官问了一个关于Kafka的问题:多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据? 看似一个简单的问题,竟然把这位读者问懵了!今天,我们就一起来说说这个面试题,好了,开始今天的...

Kafka Server Reactor设计模型

Kafka Server Reactor设计模型

Acceptor监听客户端的连接请求,并建立和客户端的数据传输通道,然后为这个客户端指定一个Processor,它的工作就到此结束,这样它就可以去响应下一个客户端的连接请求了。Processor主要职责是负责从客户端读取数据和将响应返回给客户端,它本身不处理具体的业务逻辑,每个Processor都有...

Kafka实战(二)-Kafka消息模型核心概念(下)

Kafka实战(二)-Kafka消息模型核心概念(下)

6 Record每条记录都有key、value、 timestamp三个信息分区id+offset才可确定数据位置分区内才是有序的!ConsumerGroup - 消费组每个Consumer属于一个特定的Consumer Group (可为每个Consumer 指定 group name, 若不指定...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载