flink cdc写hdfs文件的时候,如果开启文件合并的话,最终的文件不能通过hive映射读取吗?

flink cdc写hdfs文件的时候,文件格式设置为parquet,压缩方式为GZIP,存在一个问题,如果开启文件合并的话,最终的文件不能通过hive映射读取,如果不开启的话,可以正常读取,这个怎么解决啊?

[帮助文档] AnalyticDB PostgreSQL读写HDFS、Hive或MySQL外部数据

若您需要通过AnalyticDB PostgreSQL版访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为AnalyticDB PostgreSQL版数据库优化后的格式进行查询和分析。

大数据Hive教程精讲

25 课时 |
799 人已学 |
免费
开发者课程背景图

Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)

1.环境说明 # 不必要信息不再贴出 # JDK [root@tcloud ~]# java -version java version "1.8.0_251" # MySQL [root@tcloud ~]# mysql -V mysql Ver 14.14 Distrib 5.7.28 # Ha...

[帮助文档] 使用JindoTableMoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务

本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

使用云上的Flink读取本地的HDFS,是否有什么配置,可以把读取HDFS的用户设置成hive ?

使用云上的Flink读取本地的HDFS,目前直接读取HDFS是通过Flink用户,是否什么配置,可以把读取HDFS的用户设置成hive或者hadoop?

Flink CDC中那位老师遇到以下写法,数据可以正常写到hdfs, 但是表和库在hive看不到,?

Flink CDC中那位老师遇到以下写法,数据可以正常写到hdfs, 但是表和库在hive看不到,是由于HadoopCatalog类型 元数据没有托管到元数据服务的原因吗?:// 通过catalog判断表是否存在,不存在就创建,存在就加载 Table table = catalog.tableExi...

Hdfs 导入Hive,时间相关的字段 导入后为NULL

CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_SPEC_ID BIGINT, OFFER_NBR STRING, AREA_ID INT, MKT_ACTIV...

Flink sql方式可以直接写HDFS吗?不要通过Hive实现,有的帮忙发个demo,谢了?

Flink sql方式可以直接写HDFS吗?不要通过Hive实现,有的帮忙发个demo,谢了

大佬们 flink cdc适合做pgsql增量同步到hdfs/hive吗? 感觉几乎找不到下沉到ha

大佬们 flink cdc适合做pgsql增量同步到hdfs/hive吗? 感觉几乎找不到下沉到hadoop的资料,大佬们有成功的例子分享一下吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
Comparison of Spark SQL with Hive
Hive Bucketing in Apache Spark
spark替代HIVE实现ETL作业
立即下载 立即下载 立即下载