产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
XxlJob任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，您不需要修改一行代码，即可将XXL-JOB任务在SchedulerX 2.0平台上托管。采用托管的XXL-JOB有以下优势：免运维、低成本 自建XXL-JOB最少需要2个服务器和1个数据库支撑，而...
调试代码片段：快捷运行
如果节点的任务代码处于运行状态，则在代码行左侧将不会显示快捷运行（）图标。注意事项 快捷运行会真实执行代码逻辑，不收取调度资源费用，但会收取相关引擎费用。引擎费用详情，请参见各引擎的计费文档。操作步骤 进入数据开发。登录 ...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志，还可以通过工作流进行任务...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
XxlJob任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，您不需要修改一行代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。采用托管的XXL-JOB有以下优势：免运维、低成本 自建XXL-JOB最少需要2个服务器和1个数据库支撑，而...
功能相关问题
任务互斥的作用是什么，是否会造成任务堆叠？互斥的任务，即处在“执行中”或“暂停”状态的任务，即使已经达到下一个任务触发时间点，仍无法再次触发。本次调度状态以“跳过”标记。因此，并不会造成任务堆叠。任务分组的作用是什么？根据...
专业版公测（2022年01月26日）
使用SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可将每次任务调度的框架日志和业务日志进行收集，同时SchedulerX 2.0的专业版提供了日志检索功能，可以通过任务调度平台快速定位任务失败的...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
导出DMS操作日志到阿里云日志服务
周期调度 配置项 说明 调度周期 选择调度任务的周期：日：按每日一次的频率执行任务调度，需要配置每日调度的具体时间。周：以周为周期，每个指定天执行一次任务调度，需要配置指定时间和具体时间。月：以月为周期，每个指定天执行一次任务...
提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。计算节点数 用来运行此作业的计算节点数。任务数 每个计算节点运行此作业使用的任务数，即进程数。最大内存 每个计算节点运行此作业可使用的最大内存。默认为空...
更改共享GPU调度显存最小分配单位
共享GPU调度默认按1 GiB为单位申请显存，申请更细粒度的显存需要更改显存最小分配单位。本文介绍如何将共享GPU调度显存最小分配单位更改为128 MiB，以申请更细粒度的显存。前提条件 您的集群需要安装共享GPU调度专业版的组件，然后您才可以...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
创建CDH Impala节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Hive节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Presto节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
场景：节点孤立
本文为您介绍什么是孤立节点，节点孤立的原因及解决方法。什么是孤立节点？孤立节点指节点在 周期任务 或 周期实例 处展开父节点时，没有依赖任何父节点，这类型节点在自动调度时不会被调起，所以孤立节点不会自动调度运行，如果该孤立节点...
应用管理
创建应用 在创建调度任务前，您需要先创建应用。步骤一：基本配置 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 应用管理。在 应用管理 页面，选择目标命名空间然后单击 创建应用。在 基本配置 向导页，输入 应用名...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
配置节点上下文
节点上下文用于支持参数在上游节点和下游节点之间传递，本文为您介绍如何定义、使用节点上下文中的输入参数和输出参数。背景信息 在上游节点定义输出参数及其取值后，在下游节点定义输入参数（取值引用上游节点的输出参数），即可在下游...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
创建CDH Spark节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH MR节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建业务流程
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
任务冻结与解冻
说明 在数据开发（DataStudio）调度配置的调度类型里选择暂停调度或者正常调度，需重新提交发布，才会冻结或解冻生产调度的周期任务。冻结与解冻周期实例 冻结周期实例只作用于该实例，如果只解冻周期实例，周期任务仍然是冻结状态，那么...
查询弹性供应组的调度任务信息
调用DescribeAutoProvisioningGroupHistory查询弹性供应组的调度任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
任务常见问题
为什么实例停止之后还会执行？问题现象：实例停止之后仍然执行。可能原因：任务实例停止后，SchedulerX会把Kill消息发送到客户端。客户端接收到Kill消息后，会停止下发和停止执行未执行的子任务、销毁该实例的上下文、销毁实例所有的线程池...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring@Scheduled注解，支持Cron定时、一次性任务、可视化任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文介绍如何创建秒级调度任务并将设置固定延迟。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java...
创建EMR Spark节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
Fixed rate
Cron原生不支持无法被60整除的分钟间隔调度，例如每40分钟执行一次的任务。为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置...
切换加速区域
您需要变更加速域名的DCDN服务范围时，您可以通过切换加速区域功能实现。操作步骤 登录 DCDN控制台。在左侧导航栏，单击 域名管理。...常见问题 切换加速区域后的影响是什么？加速区域为中国内地，非中国内地用户会拒绝访问还是直接访问源站？
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
- 产品推荐
- 这些文档可能帮助您