flink作业数据来源是kafka ,配置偏移量策略是earlest,有什么办法吗?

flink作业数据来源是kafka ,配置偏移量策略是earlest,而且作业使用了rockdb状态后端,状态的生命周期是1个月, 目前kafka中的数据只能存3天,但是作业需要停7天 ,想重启作业时尽可能的多消费数据 且 停止作业时的保存点中的状态不丢数 ,有什么办法吗? 是直接就保存保存点 然后...

[帮助文档] 配置Kafka开启Ranger权限

本文介绍了Kafka如何开启Ranger权限控制,以及Ranger Kafka权限配置说明。

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

[帮助文档] 如何配置Kafka

本文介绍如何创建、查看、编辑、删除Kafka自定义连接器任务。

[帮助文档] 如何配置消息队列Kafka版的客户端参数

本文介绍客户端参数的配置规则,请根据实际业务场景配置适当的值。

[帮助文档] 自定义连接器中Workers的概念及配置

本文介绍自定义连接器中Workers的概念及配置。

[帮助文档] Kafka自定义连接器中的基本概念和连接配置

Kafka自定义连接器可以从Kafka集群中提取数据或将Kafka数据推送到其他系统,本文介绍Kafka自定义连接器中的基本概念和连接配置。

请问Kafka生产者重复0.11版本以后是配置成幂等就可以,解决重复消费是手动记录偏移量是吗?

请问Kafka生产者重复0.11版本以后是配置成幂等就可以,解决重复消费是手动记录偏移量是吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载