flinksql消费kafka,没有消费记录的分区在sp的时候是不是不保存偏移量?

flinksql消费kafka,没有消费记录的分区在sp的时候是不是不保存偏移量?

flinksql 怎么使用rebalence?kafka单个分区lag很高 flinksql没法搞?

flinksql 怎么使用rebalence?kafka单个分区lag很高 flinksql没法搞啊

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

我们的FlinkSQL数据同步任务,从kafka(ogg-json)同步到StarRocks,资源配

我们的FlinkSQL数据同步任务,从kafka(ogg-json)同步到StarRocks,资源配置是JM 1G,TM 1G,单并行度,数据量也不大(单日500W),为什么老是运行大概2~3天会内存超限,最后Container被Yarn Kill掉呢?这个里面也没有用到状态相关的

问一个现象的解决方法,flinksql从kafka读数据写入es,当任务运行一段时间,es突然断掉?

问一个现象的解决方法,flinksql从kafka读数据写入es,当任务运行一段时间,es突然断掉一个节点,恢复后,该flink任务会卡死,即写入es的那个subtask会变成100%busy这个如何解决?

FlinkSql创建Kafka source 消费数据写到hive表作为ods层,若还要建立该咋办?

FlinkSql创建Kafka source 消费数据写到hive表作为ods层,如果还要建立dwd层数据是用flink 读hive表转换成ods,还是在创建一个Kafka source的表再消费一次做处理写到hive dwd表呢?

flinksql:kafka做为源,有哪位老师用过这两个参数吗,感觉配置后不生效?

flinksql:kafka做为源,有哪位老师用过这两个参数吗,感觉配置后不生效?

flinksql从kafka批量写入oracle,写入有什么优化方式吗?

flinksql从kafka批量写入oracle,写入有什么优化方式吗,每秒十几万数据,没有什么逻辑。目前就设置了批量和定时,写入感觉有点慢

flinksql使用avro格式读kafka大佬们用过吗?

flinksql使用avro格式读kafka大佬们用过吗?

大家有没有遇到过通过flinksql查kafka的timestamp类型,时区是乱的?

大家有没有遇到过通过flinksql查kafka的timestamp类型写入hive的timestamp类型,时区是乱的,有时候+8,有时候正常,我单独查kafka表的时候时区不乱,时间是对的,一旦写入hive就有这个问题

flinksql对接kafka的数据后,用什么format格式可以进行两表关联啊?

flinksql对接kafka的数据后,用什么format格式可以进行两表关联啊?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载