当Spark在S3上读取大数据集时，在“停机时间”期间发生了什么？
我在AWS S3中有一堆JSON数据 - 让我们说100k文件，每个大约5MB - 我正在使用Spark 2.2 DataFrameReader来读取和处理它们：sparkSession.read.json(...)我发现Spark在开始计算之前只会挂起5分钟左右。对于较大的数据集，这可能需要数小时...
如何在Spark Scala中使用root元素读取多行json？
这是一个Sample JSON文件。我有root标签然后如何将JSON数据读入Dataframe并在控制台中打印。 { "Crimes": [ { "ID": 11034701, "Case Number": "JA366925", "Date": "01/01/2001 11:00:00 AM",...
如何在Spark Scala中读取嵌套JSON？
这是我的嵌套JSON文件。 {"dc_id": "dc-101","source": { "sensor-igauge": { "id": 10, "ip": "68.28.91.22", "description": "Sensor attached to the container ceilin...
如何使用spark同时读取不同文件夹中的多个文件？
我试图同时读取不同路径中的多个文件。在sql server中，路径“/mapr/ia1.comscore.com/output/cms/cmcm/227m/2018????/app/RunningApp/part-.txt ”告诉服务器读取正在运行的所有文件本月的应用程序文件夹227m（2018年1...
使用带引号的字符串读取spark数据
我有以下给出的csv数据文件，每一行都由回车符（' r'）终止但是某些文本值是多行字段，其中行分隔符为换行符（' n'）。如何使用spark数据源api选项来处理这些问题。
Apache Spark使用Java从CSV读取数组float [duplicate]
我正在使用Java开发一个新的Spark项目。我必须从CSV文件中读取一些数据，这些CSV有一个浮点数组，我不知道如何在我的数据集中获取此数组。 我正在读这个CSV： CSV data image https://imgur.com/a/PdrMhev而我正试图以这种方式获取数据： Dataset ...
有没有办法优化使用pandas读取TSV文件，转换并使用spark写入表的代码？
df_pandas = pd.read_csv('filepath/filename' , delimiter='t' , encoding = 'utf-8', error_bad_lines=False ) #defining the schema for the spark dataframe...
Spark 读取 Hbase 优化 --手动划分 region 提高并行数
一. Hbase 的 region 我们先简单介绍下 Hbase 的 架构和 region ： 从物理集群的角度看，Hbase 集群中，由一个 Hmaster 管理多个 HRegionServer，其中每个 HRegionServer 都对应一台物理机器，一台 HRegionServer 服务器上又...
使用错误架构的Apache Spark上的读取流重试1830次
在Spark结构化流式传输中，当来自S3的传入记录与我强制执行的模式不匹配时.schema(..)，如果记录的大小很大（我的是397KB），那么该记录将被重试1830次，多次测试。有没有人注意到这种奇怪的行为？
如何在spark中解压缩并读取包含多个压缩文件的文件
我有一个文件AA.zip，它还包含ex aa.tar.gz，bb.tar.gz等多个文件我需要在spark scala中读取这些文件，我该如何实现？这里唯一的问题是提取zip文件的内容。
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
社区圈子
apache spark您可能感兴趣
- apache spark入门
- apache spark大数据
- apache spark配置
- apache spark安装
- apache spark单机
- apache spark环境搭建
- apache spark案例
- apache spark测试
- apache spark streaming
- apache spark分布式
- apache spark SQL
- apache spark Apache
- apache spark数据
- apache spark rdd
- apache spark Hadoop
- apache spark MaxCompute
- apache spark运行
- apache spark集群
- apache spark summit
- apache spark模式
- apache spark学习
- apache spark分析
- apache spark机器学习
- apache spark实战
- apache spark Scala
- apache spark flink
- apache spark程序
- apache spark操作