Flink的binlog文件太多,导致全量后的增量阶段追赶很慢,这个有办法解决吗?

Flink的binlog文件太多,导致全量后的增量阶段追赶很慢,这个有办法解决吗?

[帮助文档] 如何通过Flink和Blink实时消费Hologres Binlog

本文将会为您介绍如何通过Flink和Blink实时消费Hologres Binlog。

Flink CDC消费binlog 不是增量的嘛?

Flink CDC消费binlog 不是增量的嘛 按说无论数据库做了啥操作 log日志都是正常增量产生的 除非任务报错的时候最近的binlog清除了才会找不到 为啥保存了18小时还不够用呢 任务数据量也不是那么大 不至于积压18小时啊 而且报错的binlog位置 从数据库也看了下binlog文件确实...

Flink CDC从select开始时间那个位置的binlog开始增量读取是吧?

Flink CDC读取数据的时候在读取全量select的时候就开始记录select开始那会的binlog的位置,然后全量读完了,就从select开始时间那个位置的binlog开始增量读取是吧?

Flink CDC中第一次启动的时候需要全量后面就是监听binlog增量这个怎么设置?中间存在宕机。

Flink CDC中第一次启动的时候需要全量 后面就是监听binlog增量这个怎么设置?中间存在宕机重启了。

Flink CDC后面想了另外一个思路,这里面大多是历史的,所以binlog消费增量; 手动统计一?

Flink CDC后面想了另外一个思路,这里面大多是历史的,所以binlog消费增量; 手动统计一个整数给历史 再历史+增量 = 全量,后面新数据,听您的建议。用维度建模拆分表,然后分别做统计?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。