生产环境 部署flinksql 任务( flink on yarn )太消耗slot.怎么办?

想请教下生产环境 部署flinksql 任务( flink on yarn )太消耗slot.这个要怎么解决. 是把slot 和cpu之比调大吗? 具体比例多少合适啊?

有用oracle-cdc跑10g 任务,消费一段时间后,yarn任务也没有报错但就是无法消费的吗?

有用oracle-cdc跑10g 表任务,出现过消费一段时间,yarn任务也没有报错但就是无法消费到数据的吗?

Hadoop 分布式资源管理框架 YARN

5 课时 |
438 人已学 |
免费
开发者课程背景图

[帮助文档] Dataphin中运维页面终止Spark SQL任务实例后,底层Yarn作业也会终止[KB:473395]

概述Dataphin中运维页面终止Spark SQL任务实例后,底层Yarn作业也会终止。详细信息Dataphin中运维页面终止Spark SQL任务实例后,底层Yarn作业任务也会终止或者关闭。适用于Dataphin公共云V3.5.6

flink1.15.1提交任务到yarn报错:Caused by: org.apache.flink

flink1.15.1提交任务到yarn报错:Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Cannot support file system for 'hdfs' via Hadoop, bec...

请问flink1.15.1,提交任务到yarn有朋友遇到过类似的问题吗?

请问flink1.15.1,提交任务到yarn有朋友遇到过类似的问题吗?

E-MapReduce任务在yarn一直卡住如何排查

E-MapReduce任务在yarn一直卡住如何排查

有大佬遇到过oracle-cdc 10G(版本)跑一段时间就消费不到数据吗??任务一直再yarn上运

有大佬遇到过oracle-cdc 10G(版本)跑一段时间就消费不到数据吗??任务一直再yarn上运行着也没有报错。

sqoop,任务日志刷新到这里,就一直卡住了,也没有提交到yarn,请问大神这个是什么情况?该怎么排

sqoop,任务日志刷新到这里,就一直卡住了,也没有提交到yarn,请问大神这个是什么情况?该怎么排

请问下这种失败的任务怎么完全关闭啊 web上没有canal的按钮 yarn上显示Running状态

请问下这种失败的任务怎么完全关闭啊 web上没有canal的按钮 yarn上显示Running状态

你们遇到这个报错吗?提交任务到yarn 出现这个

Caused by: org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$NumberQuotaExceedException: KeeperErrorCode = Nodes number exceeds ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

阿里巴巴终端技术
阿里巴巴终端技术
阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。
1504+人已加入
加入
相关电子书
更多
基于Docker on Yarn系统的微服务实践
深度学习+大数据 TensorFlow on Yarn
Docker on Yarn 微服务实践
立即下载 立即下载 立即下载