LinkedIn开源Cruise Control:一个Kafka集群自动化运维新利器
Kafka近年来日渐流行,LinkedIn的1800台Kafka服务器每天处理2万亿个消息。虽说Kafka运行得十分稳定,但要大规模运行Kafka,在运维方面仍然面临巨大的挑战。每天都会有broker崩溃,导致集群工作负载不均衡。SRE团队需要花费大量的时间和精力来重分配分区,以便让集群重新恢复均衡...
Linkedin Camus,从Kafka到HDFS的数据传输管道
参考文章 https://www.confluent.io/product/confluent-platform/ http://blog.csdn.net/amghost/article/details/44258841 http://blog.csdn.net/amghost/article/d...
LinkedIn的工程师详述了生产环境下Kafka的调试和最佳实践
在本文中,LinkedIn的软件工程师Joel Koshy详细阐述了他和一个工程师团队是如何解决生产环境下Kafka的两次事故的。这两次事故是由于多个产品缺陷、特殊的客户行为以及监控缺失的交错影响导致的。 第一个缺陷是在LinkedIn的变更请求跟踪系统中观察到的,部署平台认为这是从服务发出的重复邮...
LinkedIn详细介绍了由他们开源的Kafka Monitor
Kafka Monitor项目的动机有三个: 需要监控和测试Kafka部署并跟踪主干稳定性,以便他们能够尽早捕获正在开发的变更集中的问题; 需要不间断地在生产集群上监控SLA,并不断地在测试集群上运行回归测试; 现有的监控框架无法满足其用例的扩展性、模块化需求,他们需要一个自定义的客户端库。网站可靠...
LinkedIn 详细介绍了他们开源的 Kafka Monitor
在2016年4月份举行的Kafka峰会上,LinkedIn在Apache 2.0许可协议下开源了Kafka Monitor,并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候,LinkedIn曾在一篇有关Kafka整体应用的文章中简单地提及过Kafka Monitor,但并没有详...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
云消息队列 Kafka 版您可能感兴趣
- 云消息队列 Kafka 版数据
- 云消息队列 Kafka 版python
- 云消息队列 Kafka 版hologres
- 云消息队列 Kafka 版java
- 云消息队列 Kafka 版字段
- 云消息队列 Kafka 版flink
- 云消息队列 Kafka 版mysql
- 云消息队列 Kafka 版功能
- 云消息队列 Kafka 版阿里云
- 云消息队列 Kafka 版组件
- 云消息队列 Kafka 版cdc
- 云消息队列 Kafka 版消费
- 云消息队列 Kafka 版分区
- 云消息队列 Kafka 版集群
- 云消息队列 Kafka 版配置
- 云消息队列 Kafka 版报错
- 云消息队列 Kafka 版同步
- 云消息队列 Kafka 版apache
- 云消息队列 Kafka 版安装
- 云消息队列 Kafka 版消息队列
- 云消息队列 Kafka 版topic
- 云消息队列 Kafka 版消息
- 云消息队列 Kafka 版sql
- 云消息队列 Kafka 版入门
- 云消息队列 Kafka 版消费者
- 云消息队列 Kafka 版实战
- 云消息队列 Kafka 版原理