【Flume中间件】(14)自定义Sink

自定义Sink自定义Sink的流程就是:首先需要或取sink对应的channel,然后从指定的channel中获取事务,然后再从channel中拉取事件,将事件进行处理,根据业务逻辑将数据写出,然后提交事务,如果成功,channel将该事件清除,否则进行回滚。a1.sou...

【Flume中间件】(13)自定义Source

自定义Source有时候,flume中的source不符合我们的需求,这时就可以进行自己定义Source。自定义Source的流程就是首先继承并实现官方类,然后实现相应的方法,重点是读取数据的方法,在该内部可以定义jdbc或者是IO流进行读取数据。然后将数据封装成事件,交给channel处理器。处理...

【Flume中间件】(12)自定义拦截器

自定义拦截器在有些情况下,我们需要对采集来的数据进行分类,那么我们就可以采用multiplexing拦截器的方式,在数据中添加头部的键值,根据键值选择相应的channel。我们自定义拦截器需要实现官方的Interceptor,实现相应的方法,而且还需要一个静态内部类,用于返回Interceptor类...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里中间件
阿里中间件
为企业提供高效、稳定、易扩展的中间件产品
164949+人已加入
加入
相关电子书
更多
云原生中间件重磅发布—全面迎接 Serverless 时代
阿里云中间件开发者大会|分布式应用治理专场演讲合集
阿里云中间件开发者大会|分布式应用架构专场演讲合集
立即下载 立即下载 立即下载