[帮助文档] 实时计算Flink读写OSS或者OSS-HDFS

阿里云实时计算Flink支持通过连接器读写OSS以及OSS-HDFS数据。通过配置OSS或者OSS-HDFS连接器的输入属性,实时计算Flink会自动从指定的路径读取数据,并将其作为实时计算Flink的输入流,然后将计算结果按照指定格式写入到OSS或者OSS-HDFS的指定路径。

[帮助文档] 开源版本Flink如何使用JindoSDK处理OSS HDFS服务的数据

开源Flink不支持流式写入OSS-HDFS服务,也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务,需要结合JindoSDK。

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图

[帮助文档] Flink如何以EMR集群的方式可恢复性写入OSS-HDFS服务

可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质。本文介绍Flink如何通过EMR集群的方式可恢复性写入OSS-HDFS服务。

[帮助文档] 在挂载文件存储HDFS版的Hadoop集群上安装及使用ApacheFlink

本文介绍如何在挂载文件存储 HDFS 版的Hadoop集群上安装及使用Apache Flink。

我想把数据通过flink 写入到HDFS中 压缩成Parquet格式 但输入的这个对象字段是不确定的

我想把数据通过flink 写入到HDFS中 压缩成Parquet格式 但输入的这个对象字段是不确定的 是个jsonObject , 那我这个地方是写成jsonObject.class 还是String.class 这样写到HDFS我可以映射出来吗?

在将Flink数据集写入hdfs时如何创建Job对象

"我想写一些数据集给hive。我试过hive jdbc,但它不支持batchExecute。所以我改为将其写入hdfs,然后生成hive表。 我尝试使用以下代码来编写hdfs: package test; import org.apache.flink.api.common.functions.Fl...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199201+人已加入
加入
相关电子书
更多
基于 Flink SQL + Paimon 构建流式湖仓新方
基于 Flink CDC 打造 企业级实时数据集成方案
李劲松|Flink Table Store 典型应用场景
立即下载 立即下载 立即下载