flume源码学习9-HDFSEventSink实现

   HDFSEventSink用于把数据从channel中拿出来(主动pull的形式)然后放到hdfs中,HDFSEventSink在启动时会启动两个线程池callTimeoutPool 和timedRollerPool ,callTimeoutPool 用于运行append/...

flume源码学习6-ChannelProcessor的实现

    org.apache.flume.channel.ChannelProcessor 用于实际的Event到Channel的操作(在Source中用到),可以把它想象成channel的proxy,用于控制把Event put到哪些Channel中,以及怎么put(bacth...

Flume基础应用实战 - 企业全场景解决方案

16 课时 |
114 人已学 |
免费

数据采集系统 Flume 快速入门

20 课时 |
677 人已学 |
免费
开发者课程背景图

flume源码学习4-SourceRunner与ExecSource实现

 在agent启动时,会启动Channel,SourceRunner,SinkRunner,比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 &nbs...

flume源码学习5-RegexExtractorInterceptor实现

RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配event body来提取字符串,并使用serializers把字符串作为header的值 实例: 以如下的命令使用execsource收集日志的时候,可以根据文件的名称设置不同的head...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。