如果用flinkcdc将postgres数据同步到kafka。首次全量同步的时候怎么办程序挂掉重启?

如果用flink cdc将postgres数据同步到kafka。首次全量同步的时候,程序挂掉重启,又会从头读取,导致kafka队列中的数据存在大量的重复。有没有啥好的办法呢?

请问Flinkcdc中我用sql语句将数据insert into 到我kafka表怎么避免程序关闭?

请问Flinkcdc中我用sql语句将数据insert into 到我kafka表后,就是t_evn.execute()程序就关闭了,如果后面加了print(),程序就不会关闭,怎么避免程序关闭呢?我直接设置的表环境,也设定了流模式。

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

[帮助文档] 如何将自建Kafka集群上的消费者程序迁移到Kafka

本文介绍如何将自建Kafka集群上的消费者程序平滑地迁移到云消息队列 Kafka 版。

请问多个flink程序,想要消费同一个kafka消费者主题, 你们是怎么解决的啊?是不是不能这样搞啊

请问多个flink程序,想要消费同一个kafka消费者主题, 你们是怎么解决的啊?是不是不能这样搞啊pgsql和oracle会锁表吗?

各位老板 cdc全量+增量读取维表 然后主流是kafka数据 如果程序启动之前kafka存在堆

各位老板 cdc全量+增量读取维表 然后主流是kafka数据 如果程序启动之前kafka存在堆积数据的话 就会出现cdc维表全量还没读取完 就开始消费kafka数据了 那这样会存在一部分数据关联不上 有遇到的嘛?

FLink消费kafka ,topic分区数128 ,qps 70万/s , flink 程序并行

FLink消费kafka ,topic分区数128 ,qps 70万/s , flink 程序并行度128,现在不做业务处理 ,纯消费还是延迟 ,大佬们有什么优化方法吗?

写了一个Flink的程序消费kafka数据;现在要提交到yarn集群上运行;是不是得开通 yarn

写了一个Flink的程序消费kafka数据;现在要提交到yarn集群上运行;是不是得开通 yarn 里面 NodeManager 到 kafka集群的9092 端口才行,还是本地提交flink任务的机器能访问 kafka 9092就行?

Debezium+Kafka+计算程序+存储系统这种方案有什么难度?

Debezium+Kafka+计算程序+存储系统这种方案有什么难度?

Debezium+Kafka+计算程序+存储系统架构图是什么样的?

Debezium+Kafka+计算程序+存储系统架构图是什么样的?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载