周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
工作原理
日志服务提供文本分析服务，用于对海量日志中的文本内容进行自动化和智能化的检测。本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
PAI-TF概述
PAI-TF是人工智能平台PAI为了追求更极致的深度学习训练效率，优化原生Tensorflow的内核并开发周边工具，推出的一款产品。PAI-TF拥有服务化、分布式调度、全局计算调度、GPU卡映射及模型在线预测等特点。警告 公共云GPU服务器即将过保下线，...
任务未运行
正常调度任务运行需要有多个条件：调度资源、定时时间、上游节点运行状态、调度属性为正常调度（未被冻结）。序号 状态类型 状态标识 运行流程图 1 运行成功状态 2 未运行状态 3 运行失败状态 4 正在运行状态 5 等待状态 6 暂停/冻结状态 ...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文介绍如何创建秒级调度任务并将设置固定延迟。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java...
其他问题
本文汇总介绍运维中心其他常见问题。...在左侧导航栏，单击 智能监控>智能基线。单击相应基线后的 编辑。在 修改基线 对话框中，设置 优先级。单击 完成。如何查看任务优先级？您可以在 运维中心>实例属性 可查看任务优先级。
Fixed rate
Cron原生不支持无法被60整除的分钟间隔调度，例如每40分钟执行一次的任务。为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置...
应用场景
灵骏主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。大规模分布式训练 高性能打造AI进化底座。超大规模GPU算力...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
实例运行诊断
调度资源 共享运行资源的实例通常情况受调度资源影响较小，独享运行资源的实例需要所属资源组有足够可分配的空闲资源才会开始调度，否则为 等待调度资源 状态。如需刷新诊断结果，可单击 刷新图标。如果实例最近一次运行所属资源组有足够可...
实例运行诊断
调度资源 共享运行资源的实例通常情况受调度资源影响较小，独享运行资源的实例需要所属资源组有足够可分配的空闲资源才会开始调度，否则为 等待调度资源 状态。如需刷新诊断结果，可单击 刷新图标。如果实例最近一次运行所属资源组有足够可...
API调度
您可以使用API触发任务调度。关于API触发的使用方式，请参见 服务接入点。
Second delay
Second delay支持1~60秒间隔的秒级延迟调度，即每次任务执行完成后，间隔秒级时间再次触发调度。Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。...
DataWorks大数据开发治理平台
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
欠费说明
本文介绍分布式任务调度SchedulerX的欠费停机策略。欠费停机影响 欠费后，控制台无法新建调度任务。欠费超过7天后，控制台自动释放调度任务实例。结清账单后，被释放的实例不可恢复。如果欠费影响了业务，例如调度任务被禁用，需要加入钉群...
对接使用CDH与CDP
如果想要设置任务周期调度，单击右侧的 调度配置，在弹窗中设置时间属性、资源属性和调度依赖，完成后单击提交任务，提交成功后任务就可以按照配置周期调度运行，调度配置详情可参见 配置基础属性。在运维中心中可以查看提交的周期任务，在...
租户设置
说明 取消功能模块需注意以下六点：若已经包含智能研发相关的对象（业务板块、业务对象、数据域、业务活动、逻辑表、业务限定、原子指标、派生指标等），则不允许取消智能研发。需删除目标对象后，再进行取消。若已经配置有实时研发任务、...
Cron
6#3 每月的第三个周五10:15触发 Cron定时调度配置示例 在创建调度任务时可以使用Cron定时调度，创建调度任务的详细操作步骤请参见 创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入 定时配置 页签，详情请参见 创建...
创建通用项目
在机器学习平台中，创建可视化建模的工作空间时，资源选择为基于MaxCompute的计算资源组，详情请参见 人工智能平台 PAI 的AI计算资源组概述。如果您开启了机器学习，需要配置以下参数。PAI地域：选择和Dataphin实例所在地域。访问方式：...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
PAI灵骏智算服务概述
PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。您只需为AI训练所消耗的资源付费，无需建设、调优和运维...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
工作原理
日志服务提供时序预测功能，用于对时序数据进行自动化、智能化的预测。您可以根据预测结果判断时序数据未来的走势，提前感知系统或者业务关键指标的状态。本文介绍时序预测的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 ...
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
异构计算集群概述
阿里云容器服务ACK支持对各种异构计算资源进行统一调度和运维管理，能够显著提高异构计算集群资源的使用效率。本文介绍阿里云容器服务ACK支持的异构计算集群。背景信息 随着5G、人工智能、HPC（High Performance Computing）、边缘计算等...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring Schedule，K8s Job，支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 在Dataphin首页，单击顶部菜单栏的 研发，默认进入数据 开发 页面。按照下图操作指引，进入...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 请参见 逻辑表任务配置入口，进入逻辑表任务配置页面。单击调度配置，进入逻辑表 调度配置 ...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
资源包（专业版）
背景信息 SchedulerX针对 任务调度CU 推出了一种预付费资源包模式，帮助您以更优惠的价格享受同等的任务调度CU数量，从而减少费用支出。资源包类型与定价 SchedulerX目前只提供一种类型的资源包，即任务调度CU资源包，用于抵扣SchedulerX...
操作记录
您可以通过操作记录页面，查看应用分组、调度任务和流程的操作记录。操作步骤 登录 分布式任务调度平台，在顶部菜单栏选择地域，在左侧导航栏，单击 操作记录，在 操作记录 页面选择目标命名空间，查看操作记录。说明 操作记录 页面仅记录...
和开源产品对比
在分布式任务调度领域中，Quartz、ElasticJob和XXL-JOB是广受欢迎的开源解决方案。为了更深入地理解分布式任务调度技术并全面评估SchedulerX在此领域的优势与特点，本文将对比SchedulerX与这些主流开源产品的特性与功能。项目 Quartz ...
文档修订记录
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，...
如何指定标签
任务调度时，机器被随机分配，所以灰度任务被分配到正常机器时，可能无法找到实现类。传统解决方案 传统解决方案下，往往会创建多个应用分组，例如为灰度机器专门配置一个Group ID。但这种解决方案具有以下局限性。正常的任务无法调度到...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
- 产品推荐
- 这些文档可能帮助您