Flink提交任务到yarn-cluster模式时,flink list执行超时,获取不到JobManager信息。定位到问题原因与HA有关,有没有哪位大神遇到过类似问题

Flink提交任务到yarn-cluster模式时,flink list执行超时,获取不到JobManager信息。定位到问题原因与HA有关,有没有哪位大神遇到过类似问题

用Flink的yarn模式 在flink-conf.yaml配置文件设置slot数量为10 启动./yarn-session.sh -n 2 -s 10 报错 只有8个solt可用 机器配置两个CPU每个都是10个slot 在yarn中配置yarn.containers.vcores=10没用

请问一下 用Flink的yarn模式 在flink-conf.yaml配置文件设置slot数量为10 启动./yarn-session.sh -n 2 -s 10 报错 只有8个solt可用 机器配置两个CPU每个都是10个slot 在yarn中配置yarn.containers.vcores=10...

Hadoop 分布式资源管理框架 YARN

5 课时 |
438 人已学 |
免费
开发者课程背景图

Flink上执行storm拓扑,在yarn模式提交job时,找不到jobmanager

问题描述:Flink上执行storm拓扑,在yarn模式提交job时,找不到jobmanager-- 需求:storm的任务迁移到flink上,为了减少改动量,使用的flink兼容storm。-- 参考:https://flink.apache.org/news/2015/12/11/storm-c...

Flink在Yarn HA模式下报错

yarn 非ha的时候是没问题的在HA模式下,发现报错,信息如下:java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.yarn.client.RequestHedgingRMFai...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

阿里巴巴终端技术
阿里巴巴终端技术
阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。
1504+人已加入
加入
相关电子书
更多
基于Docker on Yarn系统的微服务实践
深度学习+大数据 TensorFlow on Yarn
Docker on Yarn 微服务实践
立即下载 立即下载 立即下载