数据及时性监控
背景信息 在对数据产出及时性监控前，首先需要确定调度任务的优先级。数据资产等级越高的任务节点，优先级越高，您可以给予更加严格的数据及时性监控和告警规则。操作步骤 进入 规则管理 页面。在DataStudio页面单击 运维中心（工作流）。...
数据及时性监控
背景信息 在对数据产出及时性监控前，首先需要确定调度任务的优先级。数据资产等级越高的任务节点，优先级越高，您可以给予更加严格的数据及时性监控和告警规则。操作步骤 进入 规则管理 页面。在DataStudio页面单击 运维中心（工作流）。...
ack-kube-queue
组件介绍 任务调度场景下，例如在AI/ML工作负载和批处理工作负载场景下，当Kubernetes集群中任务类型的工作负载数量较多、Pod数量较多时，调度器的负载性能会受到较大影响，不同用户提交的作业之间也可能会相互干扰。任务队列ack-kube-...
调度配置
系统支持的优先级包括：最低优先级、低优先级、中等优先级、高优先级和最高优先级。参数配置 如果您需要调整系统参数的默认取值（例如业务日期），可通过设置自定义参数实现变量替换后再进行计算，单击属性对话框页面 节点参数配置说明，...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
Spring任务
通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX平台具体操作，请参见 Spring Boot应用接入SchedulerX。接入指南 接入配置 以Spring Boot接入模式为例，应用...
通过工作空间管理权限
或任务最大运行时长和任务优先级，保证资源的被合理使用。角色定义 为满足AI开发和管理的需求，PAI定义了以下多种角色，以便团队根据内部分工为成员或账号分配合适的角色：资源管理员：主账号或被授权的RAM账号，能够增删工作空间、创建DSW...
产品功能
再通过任务优先级，可以实现类似于yarn的任务优先级队列，超过并发数的任务在队列中等待，高优先级任务会抢占低优先级任务优先调度。很多场景下都有应用级别资源控制和任务优先级的需求。例如数据平台每天要收集报表，可能会有成千上万的...
通过虚拟节点将Pod调度到ECI上运行
工作原理 阿里云弹性容器实例ECI（Elastic Container Instance）是面向容器设计的无服务器弹性计算服务，提供了免运维、强隔离、能快速启动的容器运行环境。使用ECI时，您无需购买和管理底层ECS服务器，可以更加关注容器应用而非底层基础...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
Spring任务
通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX平台具体操作，请参见 Spring Boot应用接入SchedulerX。接入指南 接入配置 以Spring Boot接入模式为例，应用...
REMOTESHELL
任务优先级 流程运行的优先级。支持以下级别：HIGHEST：最高。HIGH：高。MEDIUM（默认）：中。LOW：低。LOWEST：最低。失败重试次数 工作流运行失败自动重试的次数。失败重试间隔 每次失败重试的间隔。单位：分。延时执行时间 延时执行时间...
工作空间调度中心
最高可提交的任务优先级：优先级范围为 1~9，1为最低优先级，9为最高优先级。DSW回收配置 说明 该功能目前处于公测阶段，如需使用，请 提交工单，联系技术支持进行咨询或申请。自动回收配置 单击 添加，支持按 小时 设置当前工作空间DSW...
任务管理
优先级分配 AliOS Things操作系统内核允许的任务优先级分配范围默认为0～62，值越大表示优先级越低，其中空闲任务的优先级是61，即系统最低优先级。任务栈保护 任务栈保护采用栈统计的方法在任务切换时，对当前任务栈的使用情况进行统计，...
作业优先级
本文为您介绍MaxCompute的包年包月作业优先级功能，并提供开启、设置和查看作业优先级的操作指导。背景信息 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。例如，系统必须在06:00点前产出...
XxlJob任务
限流：可抢占的任务优先级队列。资源隔离：支持命名空间和应用级别的资源隔离，支持多租户权限管理。高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个...
集群任务限流
动态限流 动态限流通过任务调度控制台调整限流速率，不管是否提供限流器，动态限流都可以正常工作。如果没有指定限流器，任务调度客户端使用默认的 DefaultLimiter 限流器。配置方式有以下两种：全局生效 在配置或编辑任务调度时配置的限流...
如何在SchedulerX 2.0平台上托管ElasticJob任务
阿里巴巴任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍在SchedulerX 2.0平台上托管ElasticJob任务的优势和方法。背景信息 ElasticJob基于Quartz开发...
云原生AI套件概述
任务队列：提供新的优先级任务队列，支持自定义的任务优先级管理和租户弹性资源配额控制 工作流编排：支持集成Kubeflow Pipelines或Argo云原生工作流引擎，为复杂的AI任务提供工作流编排服务。GPU调度概述 AI负载调度 弹性AI任务 弹性调度...
调度概述
使用ECI弹性调度 自定义弹性资源优先级调度 任务调度 ACK为批量计算的任务提供了Gang scheduling、Capacity Scheduling和ack-kube-queue。功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度，如果只是...
运维中心入门
在当前周期任务的DAG图中，结合DAG的聚合功能，按照工作空间、所属责任人或优先级等维度将节点划分为组，直接勾选该节点组，快速添加目标类别的节点为补数据节点。实例的DAG图，详情请参见 附录：DAG图功能介绍。在周期任务界面，通过目标...
设置全局Spark参数
在DataWorks中，您可通过如下方式配置调度节点运行时使用的Spark参数：方式一：配置全局Spark参数 设置工作空间级别某DataWorks功能模块运行EMR任务时使用哪个Spark参数，并定义此处配置的Spark参数 优先级 是否高于 指定模块内配置的 ...
AI负载调度
使用ECI弹性调度 自定义弹性资源优先级调度 任务调度 ACK为批量计算的任务提供了Gang scheduling和Capacity Scheduling调度能力。功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度，如果只是部分任务...
SQOOP
任务优先级 是 流程运行的优先级。支持以下级别：HIGHEST：最高。HIGH：高。MEDIUM（默认）：中。LOW：低。LOWEST：最低。失败重试次数 否 工作流运行失败自动重试的次数。失败重试间隔 否 每次失败重试的间隔。单位：分。延时执行时间 否 ...
XxlJob任务
限流：可抢占的任务优先级队列。资源隔离：支持命名空间和应用级别的资源隔离，支持多租户权限管理。高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式，您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。...
基线管理
EMR节点任务：可通过设置节点所在基线优先级与YARN队列优先级的映射关系，来调整该节点最终的YARN队列优先级，即能否优先获得调度和执行资源。详情请参见 设置基线优先级与YARN队列优先级的映射关系。预计完成时间 系统将根据基线任务的...
DataX
任务优先级 流程运行的优先级。支持以下级别：HIGHEST：最高。HIGH：高。MEDIUM（默认）：中。LOW：低。LOWEST：最低。失败重试次数 工作流运行失败自动重试的次数。失败重试间隔 每次失败重试的间隔。单位：分。延时执行时间 延时执行时间...
快速入门
内核CPU时间片调度优先级较低，资源紧张时内存会被优先回收，L3Cache和内存带宽等资源的使用受限。资源优先级和QoS是两个独立的维度，可以排列组合进行使用。但由于受模型定义和实际的需求情况的影响，部分排列组合存在约束，常用的典型...
QoS策略
QoS策略通过划分流量去匹配优先级队列，并根据优先级进行流量的调度，高优先级流量会被优先调度转发。以下为您列举QoS策略涉及的关键名词：名词 说明 高级队列 高优先级的队列，会对高优先级业务流量优先进行带宽分配，保障高优先级业务的...
自动运维
优先级 选择运维规则执行优先级，数值越大优先级越高。取值如下：1 3 5 7 8 状态 选择实例运行状态。包括 等待资源 和 运行中。白名单 白名单 展示该规则可使用任务白名单，如需添加任务白名单，请在下拉列表选择需要使用的白名单，单击 ...
通过Docker安装并使用cGPU服务
当高优先级容器有GPU任务时，不受调度策略（policy）限制，可以抢占GPU的算力。当高优先级容器无GPU任务时，容器不参与调度过程，分配的算力为0。0 以ecs.gn6i-c4g1.xlarge为例演示2个容器共用1张显卡。执行以下命令，创建容器并设置容器内...
周期任务基本运维操作
任务优先级管理 您可以通过基线管理功能，管理任务的优先级，高优先级的任务将会优先获得调度资源。详情请参见 基线管理。任务监控报警 您可以在周期任务列表对任务配置监控规则：支持针对周期任务设置周期实例调度运行时的状态监控。详情...
产品功能
任务优先级队列 应用级别的流控，一个应用同时最多运行多少个任务。企业可观测能力 SchedulerX拥有丰富的可视化能力，例如：用户大盘 任务历史执行记录 任务运行日志 任务运行堆栈 任务的链路追踪。更多信息，请参见 如何接入链路追踪。...
管理简单任务和集群任务
您可以在任务列表中查看已创建的调度任务，包括任务的名称、所属应用、任务优先级等信息。查看订阅节点 在任务列表中，单击目标任务名称。单击 客户端 页签。您可以查看已订阅的客户端 IP、版本和执行记录。单击 立即触发 可触发任务。查看...
最佳实践：订阅实例状态变更消息
业务流程的ID，周期调度任务实例的业务流程默认为1，手动业务流程和内部工作流调度任务实例为实际的业务流程ID System.out.println("flowId:"+dataParam.getString("flowId"));调度任务实例对应的节点ID System.out.println("nodeId:"+...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...
概念原理
本文介绍任务调度的概念原理。任务分步 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如，“对账”任务的处理步骤是：下载银行的清算文件>根据约定格式...
XxlJob任务
限流：可抢占的任务优先级队列。资源隔离：支持命名空间和应用级别资源隔离，支持多租户权限管理。高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个...
创建EMR Spark节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
- 产品推荐
- 这些文档可能帮助您