apache spark工作流-阿里云

[帮助文档] 管理工作流实例

工作流创建后，您可以对已有的工作流实例和节点进行操作。本文为您介绍如何查看工作流实例、节点日志等。

[帮助文档] 管理工作流

工作流是指由一系列相关任务组成的有序流程，每个任务之间有明确的依赖关系和执行顺序。如果您需要安排任务在指定的时间运行，可以创建工作流并在工作流中定义调度节点以及调度策略。本文为您介绍如何创建和运行工作流。

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

33 课时 |

283 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段

28 课时 |

248 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段

25 课时 |

92 人已学 |

加入学习

Apache Spark + 海豚调度：PB 级数据调度挑战，教你如何构建高效离线工作流

点击预约直播2010 年，我国进入移动互联网，数据规模成几何式增长。在大数据开源技术领域，以 Hadoop 为核心的大数据生态系统面对海量数据也不断发展与迭代，大数据处理流程中的各个开源组件，也一起开启了狂飙突进的大数据时代，推动了整个行业开启了数字化变革之路。近年来，大数据行业的开发者都在感慨&a...

图解大数据 | 工作流与特征工程@Spark机器学习

大数据 | Spark机器学习工作流开发指南

前言之前我曾写过一篇介绍Spark集群搭建和基本使用的文章，在文中详细的介绍了Spark的来历、优势及搭建过程，Spark以其低时延、速度快、通用性强等优势在大数据处理领域备受欢迎，但是它的强大之处绝不仅仅是因为强大的分布式计算能力。如果你仅仅想借助Spark的并行计算能力，那样我觉得大可不必费尽周...

【译】使用Spark SQL 运行大规模基因组工作流

编译: 诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。使用Spark SQL 运行大规模基因组工作流在过去十年中，随着基因组测序价格下降，可用基因组数据的数量逐渐激增。...

【译】使用Spark SQL 运行大规模基因组工作流

原文链接： https://databricks.com/blog/2019/06/26/scaling-genomic-workflows-with-spark-sql-bgen-and-vcf-readers.html 编译: 诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sen...

Oozie分布式任务的工作流——Spark篇

Spark是现在应用最广泛的分布式计算框架，oozie支持在它的调度中执行spark。在我的日常工作中，一部分工作就是基于oozie维护好每天的spark离线任务，合理的设计工作流并分配适合的参数对于spark的稳定运行十分重要。 Spark Action 这个Action允许执行spark任务，需...

Spark 概念学习系列之Spark计算工作流（十二）

下图中描述了 Spark 的输入、运行转换、输出。　　在运行转换中通过算子对 RDD进行转换。　　算子是 RDD 中定义的函数，可以对 RDD 中的数据进行转换和操作。　　　　输入：在 Spark 程序运行中，数据从外部数据空间（例如， HDFS、 Scala 集合或数据）输入...

Apache Spark机器学习.1.7　机器学习工作流示例

1.7　机器学习工作流示例为了进一步了解学习机器学习的工作流，在这里让我们学习一些例子。本书后续章节会研究风险建模、欺诈检测、客户视图、流失预测和产品推荐。对于诸如此类的项目，目标往往是确定某些问题的原因，或者建立一个因果模型。下面是使用工作流建立一个因果模型的一个例子。 1.检查数据结构，以确...