[帮助文档] 工作流集群快速使用流程
分布式工作流Argo集群(简称工作流集群)采用无服务器模式,使用阿里云弹性容器实例ECI运行工作流,通过优化Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合抢占式ECI实例,优化成本。文介绍工作流集群的快速使用流程和文档使用指引。
[帮助文档] 集成MNS实现事件驱动工作流
工作流集群支持集成阿里云MNS服务,利用MNS消息队列作为中介接入丰富的事件源,利用事件驱动触发工作流运行。当有新的事件触发(如OSS事件触发、EventBridge事件触发)时,MNS会收到相应的消息,Argo会根据事件触发的条件自动触发工作流的运行,实现自动化的工作流处理。
[帮助文档] 批处理作业,Batch批量计算
批处理作业(Batch)通常用于数据处理、仿真计算、科学计算等领域,往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发,完全符合开源工作流标准。通过工作流集群,您可以轻松编排工作流,每个工作流步骤使用容器运行,可以在短时间内轻松运行大规模机器学习、仿真计算...
[帮助文档] 开启事件驱动触发工作流自动运行
工作流集群支持事件驱动功能,可通过监控事件触发工作流自动运行,您可以使用该功能构建事件驱动的自动化系统。事件驱动支持各种事件源,包括阿里云对象存储OSS、阿里云消息服务MNS、Git代码仓库,EventBrige等。
[帮助文档] 上传文件至OSS以触发工作流运行
本文介绍如何集成阿里云对象存储OSS与阿里云消息服务MNS,通过将数据上传文件至对象存储OSS中,自动触发工作流运行文件,并生成结果。
Oozie分布式任务的工作流——邮件篇
在大数据的当下,各种spark和hadoop的框架层出不穷。各种高端的计算框架,分布式任务如乱花般迷眼。你是否有这种困惑!——有了许多的分布式任务,但是每天需要固定时间跑任务,自己写个调度,既不稳定,又没有可靠的通知。 想要了解Oozie的基础知识,可以参考这里 那么你应该是在找——Oozie。 O...
Oozie分布式任务的工作流——脚本篇
继前一篇大体上翻译了Email的Action配置,本篇继续看一下Shell的相关配置。 Shell Action Shell Action可以执行Shell脚本命令,工作流会等到shell完全执行完毕后退出,再执行下一个节点。为了运行shell,必须配置job-tracker以及name-node,...
Oozie分布式任务的工作流——Sqoop篇
Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都是基于业务数据库来做的,因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL,生成报表信息。 因此本篇的Sqoop Action其实就是运行一个sqoop的任务而已。 同样ac...
Oozie分布式任务的工作流——Spark篇
Spark是现在应用最广泛的分布式计算框架,oozie支持在它的调度中执行spark。在我的日常工作中,一部分工作就是基于oozie维护好每天的spark离线任务,合理的设计工作流并分配适合的参数对于spark的稳定运行十分重要。 Spark Action 这个Action允许执行spark任务,需...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践