使用Kettle调度MaxCompute
步骤四：运行作业调度流程 在创建的作业调度流程界面，单击左上角的 图标后，在 执行作业 对话框右下角单击 执行。可选：如果弹出如下对话框，单击 是，保存创建的作业调度流程，并按照提示指引命名。例如mc。通过调度流程界面的DAG图或 ...
使用Azkaban调度MaxCompute
步骤三：运行Flow View 运行导入的作业调度流程。步骤四：查看Flow View运行结果 查看作业调度流程运行结果。步骤一：准备作业相关文件并压缩为ZIP包 准备作业相关数据、脚本文件并保存。基于上文的假设场景，您需要准备的文件如下：源数据...
新用户必读
作业调度：云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）具备离线SQL应用、Spark应用的作业调度能力，帮助您完成复杂的ETL数据处理。SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB ...
DMS作业调度
本文介绍 AnalyticDB PostgreSQL版 如何通过DMS的作业调度功能，实现定时调度RDS PostgreSQL数据库的数据。功能介绍 本次作业调度使用OSS作为中间态的存储，调度任务会将数据从RDS PostgreSQL数据库加载到OSS上，再使用 AnalyticDB ...
计算资源使用
配额组（Quota）是MaxCompute的计算资源池，为MaxCompute中的计算作业提供所需计算资源（CPU及内存）。在MaxCompute中支持根据计算作业对计算资源的需求，指定匹配的Quota，...如上规则项也可以结合起来使用，实现更细粒度的作业调度控制。
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
通过ack-co-scheduler组件实现协同调度
Gang scheduling 阿里云容器服务ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。使用以下模板向集群中提交Tensorflow分布式作业。关于如何运行Tensorflow的分布式作业，...
创建CDH Spark节点
相关场景 DataWorks平台提供了完善的作业调度和监控功能，确保您的Spark作业能够顺利提交到CDH集群执行。这种方式不仅简化了作业的运维流程，还使得资源管理更为高效，以下是一些Spark任务的应用场景：数据分析：利用Spark SQL、Dataset...
创建EMR Hive节点
集群类型 高级参数 DataLake集群（新版数据湖）【EMR on ECS】、Custom集群（自定义集群）【EMR on ECS】“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。...
使用向导创建集群
调度器 调度器是指E-HPC集群上部署的作业调度软件。E-HPC支持多种调度器，但不同的镜像支持的调度器类型有所不同，具体支持情况以控制台为准。域账号服务 选择域账号服务类型后，通过域账号服务管理创建的集群以及集群用户。目前支持 nis ...
创建EMR Spark SQL节点
您可以通过创建EMR（E-MapReduce）Spark SQL节点，实现分布式SQL查询引擎处理结构化数据，提高作业的执行效率。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，...
拓扑感知调度
完成上述步骤后，您可以通过以下Annotation以及Label来申明一个低延时部署集中调度的作业。在Pod Label中添加Gang调度标识。关于Gang调度的信息，请参见 使用Gang scheduling。labels:pod-group.scheduling.sigs.k8s.io/name:xxx#xxx是...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
数据开发常见问题
问题分析：作业Task数目过多或Spark Executor数目过多，导致AppMaster调度启动Task的时间过长，单个Task运行时间较短，作业调度的Overhead较大。解决方法：减少Task数目，使用CombinedInputFormat。提高前序作业产出数据的Block Size（dfs....
创建EMR Spark Streaming节点
在EMR Spark Streaming节点的编辑页面，输入需要执行的作业代码。示例如下。spark-submit-master yarn-cluster-executor-cores 2-executor-memory 2g-driver-memory 1g-num-executors 2-class ...
创建EMR Spark节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
创建作业
在 创建下探分析作业 配置向导的 算法配置 步骤中，配置下探分析算法参数和作业的调度时间，然后单击 完成。参数 说明 观测长度 表示最近时序数据点的个数。下探分析作业将根据您所设置的观测长度去预测下一个时序数据点的值，即期望值。...
Hologres开发：周期性调度
HoloStudio与DataWorks无缝连通，您可以通过HoloStudio将MaxCompute数据导入Hologres，并基于DataWorks的底层能力，前往DataWorks进行定时调度，实现周期性导入数据至Hologres。本文为您介绍如何将MaxCompute源表数据导入Hologres进行周期...
基本概念
调度器 调度器指集群上调度作业的软件。域账号 E-HPC支持创建NIS和LDAP两种域账号服务。NIS：网络信息服务（Network Information Service），是一种集中身份管理的方式。您可以在NIS服务器上建立用户，当新节点加入到NIS中时，便可以使用...
Hologres开发：周期性调度
HoloStudio与DataWorks无缝连通，您可以通过HoloStudio将MaxCompute数据导入Hologres，并基于DataWorks的底层能力，前往DataWorks进行定时调度，实现周期性导入数据至Hologres。本文为您介绍如何将MaxCompute源表数据导入Hologres进行周期...
Quota管理（新版）
如果有多个交互式Quota，MCQA作业默认调度到最早创建的交互式Quota里执行，因此需要结合Quota规则，可以实现不同Project发起的MCQA作业调度到不同的交互式Quota里执行，Quota规则详情请参见 Quota规则。单击 确定。配置Quota计划。新增的...
查看Spark监控
Structured Streaming Latency 当前Structured Streaming的作业延时。Structured Streaming Processing Rate 当前Structured Streaming每秒的处理速率。Structured Streaming Input Rate 当前Structured Streaming每秒的Input速率。
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
迁移助手与迁云服务
DataWorks迁移助手支持将开源调度引擎的作业迁移至DataWorks，支持作业跨云、跨Region、跨账号迁移，实现DataWorks作业快速克隆部署，同时DataWorks团队联合大数据专家服务团队，上线迁云服务，帮助您快速实现数据与任务的上云。...
2023年
本文为您提供MaxCompute产品在2023...2023-01-21 全部地域 Hologres外部表 增加Quota使用规则 通过对MaxCompute Quota配置规则条件，实现满足规则条件的作业可调度到对应Quota，可更灵活的管理Quota的使用。2023-01-12 全部地域 计算资源使用
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
2023年
使用成本优化功能实现降本增效 2023-08-24 新增GetRunningJobs-获取运行态的作业列表 新说明 指定时间范围内，所有仍处于“运行中”的作业的运行态数据展示。GetRunningJobs-获取运行态的作业列表 2023-08-24 新增GetJobResourceUsage-获得...
提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。计算节点数 用来运行此作业的计算节点数。任务数 每个计算节点运行此作业使用的任务数，即进程数。最大内存 每个计算节点运行此作业可使用的最大内存。默认为空...
通过控制台提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。在提交了多个作业时，对于需要优先执行的作业，您可以通过设置高优先级来优先执行。启动job array 是否启用调度器的job array功能。job array可自定义选择执行...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
CancelDNAJob-取消DNA作业
建议先调用更新管道接口（UpdatePipeline）将管道状态置为 Paused，暂停作业调度，再调用取消作业接口取消作业；取消完后需要恢复管道状态为 Active，管道中的作业才会被调度执行。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
CancelJob-取消转码作业
建议先调用更新管道接口（UpdatePipeline）将管道状态置为 Paused，暂停作业调度，再调用取消作业接口取消作业；取消完后需要恢复管道状态为 Active，管道中的作业才会被调度执行。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制...
快速入门
背景信息 如果您想了解更多Zeppelin、Jupyter和Airflow的信息，请参见以下内容：Zeppelin概述 管理JupyterHub 定期调度Zeppelin中的作业 前提条件 已申请体验EMR Studio的资格。已创建EMR Studio集群，详情请参见 创建EMR Studio集群。说明...
术语表
管道被暂停时，媒体转码服务不再调度此管道中的作业执行转码，直到管道被重新激活为止，已经在执行转码的作业不受影响。MediaRepository Media Repository 媒体库 所有媒体的集合。Media Media Resource 媒体 媒体是媒体库的最小管理单元。...
作业运维（新版）
常用运维场景示例 查看具体作业运行详情 运维场景 您需要查看某个DataWorks小时调度节点发起的作业运行情况或需要对指定的MaxCompute作业进行审计。操作步骤 登录 MaxCompute管理控制台 的 作业运维 页面。根据实际需要设置 时间范围。单击...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
MaxCompute分区表数据导入
使用迁移工具导入DataWorks作业 考虑到作业较为复杂，所以可以利用DataWorks的迁移助手功能，将以下文件导入您的项目中，您即可获得以上说明的DataWorks的作业，之后按照您的具体业务需求更改部分参数或脚本即可。DataWorks迁移助手的详细...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
- 产品推荐
- 这些文档可能帮助您