Flink CDC读表数据后写kafka,消费者消费后写es;用bulk往es同步时速率较慢导致数?

Flink CDC读表数据后写kafka,消费者消费后写es;用bulk往es同步时速率较慢导致数据积压,这个有好点的解决办法么?我是这么批量往es写的 设置的同步提交,不会再存到缓存里,需要做一些处理再往es写,直接用连接器没法实现,我一会来看下,应该也是可以的,水位线那个是啥意思,不支持配置吗?

Python 基于Python结合pykafka实现kafka生产及消费速率&主题分区偏移实时监控

Python 基于Python结合pykafka实现kafka生产及消费速率&主题分区偏移实时监控

基于Python结合pykafka实现kafka生产及消费速率&主题分区偏移实时监控 1.测试环境python 3.4 zookeeper-3.4.13.tar.gz下载地址1:http://zookeeper.apache.org/releases.html#downl...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

有没有小伙伴知道flink消费kafka怎么设置消费速率?

有没有小伙伴知道flink消费 kafka怎么设置消费速率?我这边程序启动后反压太大,想降低flink消费kafka的速率,但是找了一圈资料,发现也没啥参数能设置。。。在FlinkKafkaConsumer源码中找到了flink.poll-timeout这个参数,但是发现通过properties设置...

flink流、批场景下kafka拉取速率问题:每批次拉取多少条?

flink流、批场景下kafka拉取速率问题:每批次拉取多少条?是动态吗还是可以设置 最好分流、批场景回答一下,谢谢!*来自志愿者整理的flink

谁能告诉我flink流、批场景下kafka拉取速率是怎样的呢?

flink流、批场景下kafka拉取速率问题:每批次拉取多少条?是动态吗还是可以设置 最好分流、批场景回答一下,谢谢!*来自志愿者整理的FLINK邮件归档

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载