使用Fluentd和MongoDB构建日志收集系统
Fluentd是一个日志收集系统，它的特点在于其各部分均是可定制化的，你可以通过简单的配置，将日志收集到不同的地方。 本文要介绍的是在Fluentd的最新版中已经内置的MongoDB支持。主要通过一个收集Apache/nginx日志的例子来说明其使用方法： 机制图解 安装Fluentd 设置yum源...
使用python构建基于hadoop的mapreduce日志分析平台
出处：http://rfyiamcool.blog.51cto.com/1030776/1340057 流量比较大的日志要是直接写入Hadoop对Namenode负载过大，所以入库前合并，可以把各个节点的日志凑并成一个...
构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（13）-系统日志和异常的处理③
上一节我们讲了如何捕获异常和记录日志，这一节我们讲，没有捕获的或者忘记捕获的异常包括404错误等，我们统一处理这个异常。 这一讲是利用 Application_Error 捕获所有异常，全局的异常处理为了减少代码，统一异常处理，Application_Error位于Global.asax里面， pr...
构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（12）-系统日志和异常的处理②
上一讲我们做了日志与异常的结果显示列表，这一节我们讲要把他应用系统中来。 首先我们在App.Common类库中创建一个通用类ResultHelper，这个类里面写了，获取一个GUID，获取当前时间，处理字符串等操作，虽然我们目前要用到的一个就是获取GUID但是以后我们可能还要用到别的，所以我都把他放...
构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（11）-系统日志和异常的处理①
系统需要越来越自动化，我们需要引入日志记录和异常捕获 管理员的操作记录需要被记录，看出哪些模块是频繁操作，分析哪些是不必要的功能，哪些是需要被优化的。 系统的异常需要被捕获，而不是将系统出错显示出来给用户就不了了知。我们需要异常日志不断改进系统。 我们老说用户，我们还没有用户权限的表，所以我们在Ho...
使用Fluentd + MongoDB构建实时日志收集系统
Fluentd是一个日志收集系统，它的特点在于其各部分均是可定制化的，你可以通过简单的配置，将日志收集到不同的地方。 目前开源社区已经贡献了下面一些存储插件：MongoDB, Redis, CouchDB,Amazon S3, Amazon SQS, Scri...
【Best Practice】基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏
前几天在云栖社区上写了一篇普惠性的文章，很粗偏向数据架构层面。具体可以进入：【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析，但是在具体实操中肯定不会那么一帆风顺。为了避免大家走弯路特意先写了一篇架构篇，以免大家后续发现不适用而更改或优化工作。 本...
【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析
【场景】 用户搭建网站会不断的产生访问日志(Nginx,Apache访问日志)。为了从访问日志中挖掘出更多价值，本文主要阐述如果利用阿里云数加从沉睡中的访问日志中获取更有价值的数据，包括用于实时统计和展示网站访问的一系列指标，例如PV，UV，设备，地理，状态码，爬虫，网络流量等指标。 【具体分析需求...
使用Slf4j集成Log4j2构建项目日志系统的完美解决方案
一、背景 最近因为公司项目性能需要，我们考虑把以前基于的log4j的日志系统重构成基于Slf4j和log4j2的日志系统，因为，使用slf4j可以很好的保证我们的日志系统具有良好的兼容性，兼容当前常见几种日志系统，而使用log4j2而不是log4j是因为Log4j 1.x 在高并发情况下出现死锁...
构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（13）-系统日志和异常的处理③
原文:构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（13）-系统日志和异常的处理③ 上一节我们讲了如何捕获异常和记录日志，这一节我们讲，没有捕获的或者忘记捕获的异常包括404错误等，我们统一处理这个异常。 这一讲是利用 Application_Error 捕...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践
更多
