flume源码学习9-HDFSEventSink实现
HDFSEventSink用于把数据从channel中拿出来(主动pull的形式)然后放到hdfs中,HDFSEventSink在启动时会启动两个线程池callTimeoutPool 和timedRollerPool ,callTimeoutPool 用于运行append/...
flume源码学习6-ChannelProcessor的实现
org.apache.flume.channel.ChannelProcessor 用于实际的Event到Channel的操作(在Source中用到),可以把它想象成channel的proxy,用于控制把Event put到哪些Channel中,以及怎么put(bacth...
flume源码学习4-SourceRunner与ExecSource实现
在agent启动时,会启动Channel,SourceRunner,SinkRunner,比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 &nbs...
flume源码学习5-RegexExtractorInterceptor实现
RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配event body来提取字符串,并使用serializers把字符串作为header的值 实例: 以如下的命令使用execsource收集日志的时候,可以根据文件的名称设置不同的head...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。