flink cdc写hdfs文件的时候,如果开启文件合并的话,最终的文件不能通过hive映射读取吗?

flink cdc写hdfs文件的时候,文件格式设置为parquet,压缩方式为GZIP,存在一个问题,如果开启文件合并的话,最终的文件不能通过hive映射读取,如果不开启的话,可以正常读取,这个怎么解决啊?

Flink CDC里全量阶段开了之后,checkpoint的文件过大,现在不知道怎么优化了?

Flink CDC里全量阶段开了之后,checkpoint的文件过大,现在不知道怎么优化了。而且ck过大之后重启,长时间无法恢复正常运行。怎么控制全增量切换?

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图
Flink CDC产品常见问题之文件增大如何解决

Flink CDC产品常见问题之文件增大如何解决

问题一:Flink CDC里官网这个实例中的kafkasink是在哪里实现的呢? Flink CDC里我看源码好像pipeline的connector没有实现kafka的sink,官网这个实例中的kafkasink是在哪里实现的呢? 我...

Flink CDC 里怎么设置idea打开一个新的github项目,自动索引文件吗?

Flink CDC 里怎么设置idea打开一个新的github项目,自动索引文件吗?每次打开打的项目,都特别的卡,然后索引30多分钟,能不能设置成 间隔性的,打开某个目录,再索引,实在是太卡了,电脑都要烧冒烟了。

flink cdc打印输出的文件太大有什么处理方法吗?

flink cdc打印输出的文件太大有什么处理方法吗?

Flink CDC里 rocksdb 全量checkpoint开启了ttl,为什么文件还会增大?

Flink CDC里 rocksdb 全量checkpoint开启了ttl,为什么checkpoint文件还持续增大 ?

flink cdc可以时间监控hdfs的文件变化吗 ?

flink cdc可以时间监控hdfs的文件变化吗 我们spark 分析完 一般直接落到hdfs 上 这种如快速 捕获 hdfs 某个文件的某条数据的变化吗?

Flink CDC里这个参数直接放在conf文件吗?1.17之前的还是直接运行时配参吗?

Flink CDC里env.java.opts.all: -Dfile.encoding=UTF-8这个参数直接放在conf文件吗?1.17之前的还是直接运行时配参吗?

Flink CDC里任务失败会自动清除其他机器的checkpoint文件,只保留本机吗?

问题一:Flink CDC里任务失败会自动清除其他机器的checkpoint文件,只保留本机的checkpoint么?我这个问题就是 taskmanager1执行任务 然后挂掉了,重启,taskmanager2接手这个任务,但是在2这个机器里找不到checkpoint的文件。问题二:有无其他办法呢?...

Flink CDC里我的flink集群的checkpoint文件是存在本地的,报错怎么解决?

问题一:Flink CDC里我的flink集群的checkpoint文件是存在本地的,然后我手动kill掉taskmanager,任务在其他机器上重启时,报错找不到checkpoint文件,这种情况怎么解决?通过state.checkpoints.dir这个配置在集群所有机器全部创建checkpoi...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199201+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
任庆盛|Flink CDC + Kafka 加速业务实时化
Flink CDC Meetup PPT - 龚中强
立即下载 立即下载 立即下载

实时计算 Flink版cdc相关内容

实时计算 Flink版更多cdc相关