[帮助文档] 工作流集群快速使用流程

分布式工作流Argo集群(简称工作流集群)采用无服务器模式,使用阿里云弹性容器实例ECI运行工作流,通过优化Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合抢占式ECI实例,优化成本。文介绍工作流集群的快速使用流程和文档使用指引。

[帮助文档] 集成MNS实现事件驱动工作流

工作流集群支持集成阿里云MNS服务,利用MNS消息队列作为中介接入丰富的事件源,利用事件驱动触发工作流运行。当有新的事件触发(如OSS事件触发、EventBridge事件触发)时,MNS会收到相应的消息,Argo会根据事件触发的条件自动触发工作流的运行,实现自动化的工作流处理。

Spring Boot+Vue.js+FastDFS实现分布式图片服务器

16 课时 |
251 人已学 |
免费

基于Zookeeper、Dubbo构建互联网分布式基础架构

11 课时 |
540 人已学 |
免费

分布式文件存储系统技术及实现

15 课时 |
5991 人已学 |
免费
开发者课程背景图

[帮助文档] 批处理作业,Batch批量计算

批处理作业(Batch)通常用于数据处理、仿真计算、科学计算等领域,往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发,完全符合开源工作流标准。通过工作流集群,您可以轻松编排工作流,每个工作流步骤使用容器运行,可以在短时间内轻松运行大规模机器学习、仿真计算...

[帮助文档] 开启事件驱动触发工作流自动运行

工作流集群支持事件驱动功能,可通过监控事件触发工作流自动运行,您可以使用该功能构建事件驱动的自动化系统。事件驱动支持各种事件源,包括阿里云对象存储OSS、阿里云消息服务MNS、Git代码仓库,EventBrige等。

[帮助文档] 上传文件至OSS以触发工作流运行

本文介绍如何集成阿里云对象存储OSS与阿里云消息服务MNS,通过将数据上传文件至对象存储OSS中,自动触发工作流运行文件,并生成结果。

Oozie分布式任务的工作流——邮件篇

在大数据的当下,各种spark和hadoop的框架层出不穷。各种高端的计算框架,分布式任务如乱花般迷眼。你是否有这种困惑!——有了许多的分布式任务,但是每天需要固定时间跑任务,自己写个调度,既不稳定,又没有可靠的通知。 想要了解Oozie的基础知识,可以参考这里 那么你应该是在找——Oozie。 O...

Oozie分布式任务的工作流——脚本篇

继前一篇大体上翻译了Email的Action配置,本篇继续看一下Shell的相关配置。 Shell Action Shell Action可以执行Shell脚本命令,工作流会等到shell完全执行完毕后退出,再执行下一个节点。为了运行shell,必须配置job-tracker以及name-node,...

Oozie分布式任务的工作流——Sqoop篇

Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都是基于业务数据库来做的,因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL,生成报表信息。 因此本篇的Sqoop Action其实就是运行一个sqoop的任务而已。 同样ac...

Oozie分布式任务的工作流——Spark篇

Spark是现在应用最广泛的分布式计算框架,oozie支持在它的调度中执行spark。在我的日常工作中,一部分工作就是基于oozie维护好每天的spark离线任务,合理的设计工作流并分配适合的参数对于spark的稳定运行十分重要。 Spark Action 这个Action允许执行spark任务,需...

Oozie分布式工作流——流控制

最近又开始捅咕上oozie了,所以回头还是翻译一下oozie的文档。文档里面最重要就属这一章了——工作流定义。 一提到工作流,首先想到的应该是工作流都支持哪些工作依赖关系,比如串式的执行,或者一对多,或者多对一,或者条件判断等等。Oozie在这方面支持的很好,它把节点分为控制节点和操作节点两种类型,...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云分布式应用服务
阿里云分布式应用服务
企业级分布式应用服务 EDAS(Enterprise Distributed Application Service)是应用全生命周期管理和监控的一站式PaaS平台,支持部署于 Kubernetes/ECS,无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ,Java支持Spring Cloud、Apache Dubbo近五年所有版本,多语言应用一键开启Service Mesh。
78+人已加入
加入
相关电子书
更多
使用云起实验室体验PolarDB分布式版
PolarDB分布式版架构介绍
PolarDB开发者大会:分布式的PolarDB
立即下载 立即下载 立即下载