各位，我用spark在driver广播一个string，然后在executor端用.value把广播
各位，我用spark在driver广播一个string，然后在executor端用.value把广播的值取出来封装一个单例对象。最后把单例对象的值取出打印。结果发现不是所有executor都有值，有些是null。请问一下大家遇到过这个问题吗？
将List [Map <String，String>]转换为spark数据帧
我想将List [Map]转换为spark数据帧，Map的键是sname，Map的键是DataFrame的列
如何将Spark列的名称作为String？
我想编写一个方法来舍入数字列而不执行以下操作：df.select(round($"x",2).as("x"))因此，我需要一个可重用的列表达式，如：def roundKeepName(c:Column,scale:Int) = round(c,scale).as(c.name)但c.name是不存在...
什么spark varargs函数countDistinct首先接收一个String / Column？
spark org.apache.spark.sql.functions.countDistinct：def countDistinct(columnName: String, columnNames: String*): Columndef countDistinct(expr: Column, ...
MongoDB和Spark：无法将STRING转换为TimestampType
我正在使用官方MongoDB Spark Connector从MongoDB集合中读取Spark中的数据，其代码如下： val spark = SparkSession. builder(). appName("MongoDB to SQL"). getOrCreate() val df = Mon...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
社区圈子
apache spark您可能感兴趣
- apache spark Hadoop
- apache spark数据
- apache spark分析
- apache spark Python
- apache spark可视化
- apache spark数据处理
- apache spark入门
- apache spark大数据
- apache spark配置
- apache spark安装
- apache spark SQL
- apache spark streaming
- apache spark Apache
- apache spark rdd
- apache spark MaxCompute
- apache spark运行
- apache spark集群
- apache spark summit
- apache spark模式
- apache spark学习
- apache spark机器学习
- apache spark实战
- apache spark Scala
- apache spark flink
- apache spark程序
- apache spark操作