开源“Chaperone”:Uber是如何对Kafka进行端到端审计的

随着Uber业务规模不断增长,我们的系统也在持续不断地产生更多的事件、服务间的消息和日志。这些数据在得到处理之前需要经过Kafka。那么我们的平台是如何实时地对这些数据进行审计的呢? 为了监控Kafka数据管道的健康状况并对流经Kafka的每个消息进行审计,我们完全依赖我们的审计系统Chaperon...

Kafka端到端审计

概述 Kafka端到端审计是指生产者生产的消息存入至broker,以及消费者从broker中消费消息这个过程之间消息个数及延迟的审计,以此可以检测是否有数据丢失,是否有数据重复以及端到端的延迟等。 目前主要调研了3个产品: Chaperone (Uber) Confluent Control Cen...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载