请问bin/spark-sql --master yarn不能进行集群模式运行吗?

请问bin/spark-sql --master yarn不能进行集群模式运行吗? spark版本:spark-3.4.2 现在想通过bin/spark-sql --master yarn来运行纯sql脚本,但是发现不能通过--deploy-mode cluster这种集群模式运行,只能通过clie...

云数据仓库ADB,检测是否存在运行中的Spark SQLEngine?

云数据仓库ADB,ExistRunningSQLEngine - 检测是否存在运行中的Spark SQLEngine?

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
283 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
248 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
92 人已学 |
免费
开发者课程背景图
Spark 任务运行时日志分析

Spark 任务运行时日志分析

1.spark job 运行时2.System.out.println() 日志输出位置 3.stderrlog.error 输出日志位置

大数据计算MaxCompute为什么 odps spark 任务运行那么慢,?

大数据计算MaxCompute为什么 odps spark 任务运行那么慢, 正常sql在 odps sql 运行只需要十几秒, 在 spark 要四五分钟, 而且形同数据量 spark 写入表里的存储大小, 是 sql 写的 10倍大 ?

【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)

【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)

一、RDD的概念RDD(Resilient Distributed Dataset),即弹性分布式数据集,是一个容错的、并行的数据结构,可以让用户显式地将数据存储到磁盘和内存中,并且还能控制数据的分区。不同RDD之间可以通过转换操作形成依赖关系实现管道化,从而避免了中间结果的I/O操作,提高数据处理...

DataWorks一个spark节点一直报这种错误是可能什么原因呢?都未运行看不到详情日志?

DataWorks一个spark节点一直报这种错误是可能什么原因呢?都未运行看不到详情日志?执行器数给的5,并行给的4

在大数据计算MaxCompute中,我手动或者定时去执行合并是否会影响到我正在运行的spark?

我手动或者定时去执行合并是否会影响到我正在运行的spark流式写入的任务呢?

Spark2:运行架构

Spark2:运行架构

一、运行架构1.概念• Application: 用户基于spark的代码,由一个Driver和多个Executor组成。• Executor: 在工作节点(如standalone的Worker和yarn的NM)上的进程,可以运行task,也可以将数据保存在内存和磁盘中。每个应用程序都有自己的Exe...

大数据计算MaxCompute在idea下的Local模式下运行Spark,报错怎么排查这个问题啊?

大数据计算MaxCompute在idea下的Local模式下运行Spark,报错怎么排查这个问题啊?Cannot create CupidSession with empty CupidConf.

dataworks里面支持spark3吗,spark2运行是没问题?

dataworks里面支持spark3吗,spark2运行是没问题?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

Apache Spark 中国技术社区
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
4459+人已加入
加入
相关电子书
更多
云HBaseSQL及分析 ——Phoenix&Spark
R AND SPARK
Spark Autotuning
立即下载 立即下载 立即下载