【Flume中间件】(14)自定义Sink
自定义Sink自定义Sink的流程就是:首先需要或取sink对应的channel,然后从指定的channel中获取事务,然后再从channel中拉取事件,将事件进行处理,根据业务逻辑将数据写出,然后提交事务,如果成功,channel将该事件清除,否则进行回滚。a1.sou...
【Flume中间件】(13)自定义Source
自定义Source有时候,flume中的source不符合我们的需求,这时就可以进行自己定义Source。自定义Source的流程就是首先继承并实现官方类,然后实现相应的方法,重点是读取数据的方法,在该内部可以定义jdbc或者是IO流进行读取数据。然后将数据封装成事件,交给channel处理器。处理...
【Flume中间件】(12)自定义拦截器
自定义拦截器在有些情况下,我们需要对采集来的数据进行分类,那么我们就可以采用multiplexing拦截器的方式,在数据中添加头部的键值,根据键值选择相应的channel。我们自定义拦截器需要实现官方的Interceptor,实现相应的方法,而且还需要一个静态内部类,用于返回Interceptor类...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。