请问bin/spark-sql --master yarn不能进行集群模式运行吗?

请问bin/spark-sql --master yarn不能进行集群模式运行吗? spark版本:spark-3.4.2 现在想通过bin/spark-sql --master yarn来运行纯sql脚本,但是发现不能通过--deploy-mode cluster这种集群模式运行,只能通过clie...

资源够跟app master没有关系,yarn限制了app master并行数,你看看这个队列的这个

资源够跟app master没有关系,yarn限制了app master并行数,你看看这个队列的这个配置看看。一般你点进去也会提示队列资源的app master不够

Hadoop 分布式资源管理框架 YARN

5 课时 |
438 人已学 |
免费
开发者课程背景图

错误,spark-submit --master yarn --deploy-mode cluster

在AWS EMR系统上提交我的应用程序时,我遇到了以下错误。在客户端模式下提交spark应用程序正常。如果为了在aws emr中以集群模式工作,需要完成其他任何配置,请告诉我。 [hadoop@ip-172-31-81-182 ~]$ spark-submit --master yarn --dep...

SparkContext无法以master设置为“Yarn”开始

我试图在Scala API(Play框架)中运行SparkContext。当我将Spark master设置为“local”时,它工作正常,但是,当我将master设置为“YARN”时,它会引发异常: [SparkException: Yarn application has already end...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

阿里巴巴终端技术
阿里巴巴终端技术
阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。
1504+人已加入
加入
相关电子书
更多
基于Docker on Yarn系统的微服务实践
深度学习+大数据 TensorFlow on Yarn
Docker on Yarn 微服务实践
立即下载 立即下载 立即下载