Hologres开发：周期性调度
HoloStudio与DataWorks无缝连通，您可以通过HoloStudio将MaxCompute数据导入Hologres，并基于DataWorks的底层能力，前往DataWorks进行定时调度，实现周期性导入数据至Hologres。本文为您介绍如何将MaxCompute源表数据导入Hologres进行周期...
2023年
GetRunningJobs-获取运行态的作业列表 2023-08-24 新增GetJobResourceUsage-获得作业执行者级别的资源使用列表 新说明 指定时间范围内，针对已结束的全部作业进行统计，以“天”为级别展示作业执行者级别的资源使用总量。...
YARN概述
YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的...
PAI-TF概述
MaxCompute全局计算调度服务能够将PAI-TF作业自动调度至相应的GPU集群，并将基于CPU集群的数据预处理作业和基于GPU集群的模型训练作业连接起来。GPU卡映射 PAI-TF支持将不同算子（Operators）指定至特定的CPU或GPU上。基于GPU卡映射，您...
创建EMR Hive节点
集群类型 高级参数 DataLake集群（新版数据湖）【EMR on ECS】、Custom集群（自定义集群）【EMR on ECS】“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。...
注册集群概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
创建EMR Spark SQL节点
您可以通过创建EMR（E-MapReduce）Spark SQL节点，实现分布式SQL查询引擎处理结构化数据，提高作业的执行效率。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，...
YARN资源配置
EMR会在创建集群和新增节点组第一次扩容时会配置一次 yarn.scheduler.maximum-allocation-mb，保证该值大于创建集群时所有节点和新增节点组扩容时扩容节点的 yarn.nodemanager.resource.memory-mb，避免作业无法调度。节点组升配或者手动...
添加消息批量下发任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。任务创建完成后，物联网平台通过调用 Pub 接口，向多个设备发送消息，然后设备向物联网平台返回响应...
工作原理
调度与执行 一个作业可生成一个或多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下：场景一：从当前时间开始文本分析作业。从当前时间发起...
添加属性设置任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。单击 完成。任务创建完成后，物联网平台通过调用 SetDeviceProperty 或 SetDevicesProperty 接口，...
添加服务调用任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。任务创建完成后，物联网平台通过 InvokeThingService 或 InvokeThingsService 接口调用服务，采用...
ListJobGroups
查询外呼作业组列表 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListJobGroups 系统规定...
快速入门
背景信息 如果您想了解更多Zeppelin、Jupyter和Airflow的信息，请参见以下内容：Zeppelin概述 管理JupyterHub 定期调度Zeppelin中的作业 前提条件 已申请体验EMR Studio的资格。已创建EMR Studio集群，详情请参见 创建EMR Studio集群。说明...
EMR控制台管理YARN分区
重要作业保障 如果不希望重要作业被调度到弹性节点，可以为非弹性节点配置单独的分区，让重要作业使用该分区（此处针对少数不希望因为缩容而被延迟的重要作业）。借助YARN分区管理能力，运维人员可以根据节点的特性（角色定位、处理能力）...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
创建EMR Spark Streaming节点
“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。说明 您也可以直接在高级配置里追加自定义SparkConf参数。提交代码时DataWorks会自行在命令中加上新增的...
创建EMR Spark节点
DataLake集群/自定义集群：EMR on ECS 高级参数 配置说明“queue”提交作业的调度队列，默认为default队列。如果您在注册EMR集群至DataWorks工作空间时，配置了工作空间级的 YARN资源队列：如果 勾选 了 全局配置是否优先 为 是，则实际...
创建EMR MR节点
集群类型 高级参数 DataLake集群（新版数据湖）【EMR on ECS】、Custom集群（自定义集群）【EMR on ECS】“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
迁移EMR项目至DataWorks
在 迁移助手 页面，单击左侧导航栏的 任务上云>调度引擎作业导出。在 调度引擎导出方案选择 页面，单击 EMR>新建导出任务。在 新建导出任务 对话框，配置导出信息。导出成功后，可在 调度引擎导出方案选择 页面，查看导出结果。完成后单击 ...
添加自定义任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。任务创建完成后，物联网平台通过Topic：/sys/{productKey}/{deviceName}/thing/job/notify，将任务...
DMS调度Spark
使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过 数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS...
创建作业
在 创建下探分析作业 配置向导的 算法配置 步骤中，配置下探分析算法参数和作业的调度时间，然后单击 完成。参数 说明 观测长度 表示最近时序数据点的个数。下探分析作业将根据您所设置的观测长度去预测下一个时序数据点的值，即期望值。...
2023年
本文为您提供MaxCompute产品在2023...2023-01-21 全部地域 Hologres外部表 增加Quota使用规则 通过对MaxCompute Quota配置规则条件，实现满足规则条件的作业可调度到对应Quota，可更灵活的管理Quota的使用。2023-01-12 全部地域 计算资源使用
使用ECI弹性调度Spark作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Spark作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Spark作业。背景信息 如果您需要使用更...
使用ECI弹性调度Flink作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Flink作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Flink作业。背景信息 如果您需要使用更...
导入开源引擎任务
在左侧导航栏，单击 任务上云>调度引擎作业导入。创建导入任务。在 调度引擎作业导入 页面，单击右上方的 新建导入任务。在 新建导入任务 对话框中，配置各项参数。参数 描述 导入名称 输入导入任务的名称。调度引擎 包括 Airflow、Azkaban...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
提交Spark作业
EMR支持CRD、spark-submit和控制台终端三种方式提交作业。本文为您介绍如何通过这三种方式提交Spark作业。前提条件 已在EMR on ACK控制台创建Spark集群，详情请参见 创建...使用ECI弹性调度Spark作业详情，请参见 使用ECI弹性调度Spark作业。
概述
数据管理DMS 的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。背景信息 随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
管理作业
调度参数 设置作业运行调度队列、内存、虚拟核数、优先级和执行用户等信息。当未设置这些参数时，作业会直接采用集群的默认值。删除作业 创建作业后，不再需要当前作业时可删除。在项目空间页面，单击待操作项目所在行的 删除。在 删除 ...
Quota调度策略说明
注意事项 在实际资源调度中，作业优先级 调度策略高于Quota调度策略。即资源总是优先分配给优先级高的作业，在同等优先级的作业中再根据Quota调度策略进行资源分配。暂不支持对类型为 交互式 的二级Quota设置调度策略。自2023年5月24日起，...
提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。计算节点数 用来运行此作业的计算节点数。任务数 每个计算节点运行此作业使用的任务数，即进程数。最大内存 每个计算节点运行此作业可使用的最大内存。默认为空...
通过控制台提交作业
作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC...
ACK One概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
查看Spark监控
Streaming Scheduling Delay 当前Streaming作业Batch的调度延时。Structured Streaming Latency 当前Structured Streaming的作业延时。Structured Streaming Processing Rate 当前Structured Streaming每秒的处理速率。Structured ...
舰队管理概述
随着Kubernetes集群的广泛应用，企业往往需要...作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。相关文档 ACK One概述 开启舰队管理功能 管理关联集群 ArgoCD
- 产品推荐
- 这些文档可能帮助您