Logtail技术分享(一) : Polling + Inotify 组合下的日志保序采集方案
日志数据采集提到数据分析,大部分人首先想到的都是Hadoop,流计算,API等数据加工的方式。如果从整个过程来看,数据分析其实包含了4个过程:采集,存储,计算和理解四个步骤。采集:从各种产生数据的源头,将数据集中到存储系统。包括硬盘上的历史数据,用户网页的点...
《银行的一天》演示日志处理保序、不丢、不重
日志处理是一个很大范畴,其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要讨论如何在实时计算场景中,如何能做到日志处理保序、不丢失、不重复,并且在上下游业务系统不可靠(存在故障),业务流量剧烈波动情况下,如何保持这三点。 为了能够方便理解,这里会使用《银行的一天》作为例子将概念解释清楚。在篇...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。