配置规则：按表（单表）
若无21天采样记录，您可在配置了动态阈值类规则且规则关联调度任务后，通过 补数据 功能补齐21天采样记录。进入按表配置监控规则页面 进入数据质量页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据...
如何使用定时任务的灰度
每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的标签，灰度任务指定灰度的标签，通过灰度的任务进行灰度测试。方案二：一个任务通过自动调度和手动调度...
控制台总览
您可以在任务调度产品控制台总览页面查看所有任务的动态和统计信息。任务统计 显示当前环境中已存在的各类任务数量统计：任务总数：当前环境中已配置的任务总数，包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
调度依赖配置指引
说明 调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换，进而实现任务查询与产出的表分区变更。基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务...
创建ID安全匹配任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建安全数据对齐任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建安全数据加密任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建安全数据左对齐任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建隐匿信息查询任务
数据分区 数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。使用场景 离线场景：生成预计算文件在后续离线PIR查询中速度较快。在线场景：生成的预计算文件在后续在线PIR查询中速度较快。单击 提交，完成任务的创建。步骤...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
创建安全联邦学习任务（任务模式）
数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。特征数：请输入数据的特征指数。数据集比例划分：用于按比例随机划分训练集和测试集。单击 下一步，配置数据处理参数。参数 描述 算法分类 支持的算法分类为FL决策树、FL...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
CPU性能优化场景概述
本文主要介绍了不同场景下的CPU性能优化方案。场景 方案选择 性能 ACK节点运行在开启NUMA的弹性裸金属服务器 计算密集性负载 ...CPU性能优化后，L3感知/缓存和内存带宽动态隔离、CCX/CCD亲和性调度、CPU拓扑感知优化效能提升幅度如下图所示。
使用负载感知调度
考虑到节点的利用率会随着时间、集群环境、工作负载的流量或请求等动态变化，ack-koordinator组件还提供重调度能力，防止在Pod调度完成后，集群再次出现负载极端不均衡的情况。通过将负载感知调度和热点打散重调度结合使用，可以获得集群...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
权限管理与规范化数据开发
调度参数 调度参数是DataWorks在调度场景下支持自动根据业务时间替换为具体值的参数，节点中使用调度参数后，在调度场景下，可以实现将对应业务时间的业务数据动态写入对应的时间分区中。详情请参见 调度参数支持的格式。依赖关系 调度依赖...
FTP Check节点
如果您的文件路径是动态变化的，则您可以在文件路径中使用调度参数来配置变量路径，详情请参见 调度参数概述。在 Check间隔（秒）中配置定时检测的时间间隔。在 Check停止策略 中配置停止检测的策略。Check停止时间：检测任务的到时时间点...
服务IP调度接口
针对无法使用SDK的场景，介绍如何使用服务IP调度接口。接口能力和应用场景 重要 HTTPDNS官方SDK中已集成本接口，此文档主要针对无法使用SDK的场景。本接口根据源IP，返回最优和最新的服务调度信息，并同时提供更多的容灾能力。包括以下能力...
基础监控
混部资源的总量与实际资源利用率有关，会随着节点的空闲物理资源量动态变化，是在离线混部额外提供的可调度资源，也是衡量在离线混部收益的关键指标之一。混部资源总量 分为CPU和内存两个资源维度，分别展示了集群当前可供应用混部调度的...
Workflow新功能发布记录
本文介绍阿里云E-MapReduce（简称EMR）Workflow每次发布涉及的功能变更及对应的文档，帮助您了解EMR Workflow的发布动态。2024年 2024年3月 功能名称 功能概述 相关文档 调度资源组扩缩容 新增调度资源组扩缩容功能，您可以根据自己的业务...
兼容Spring定时任务
通过对接SchedulerX任务调度可在不改变原有定时任务业务代码的情况下，可快速实现企业化运用的支持。功能优势 白屏管控和运维 提供白屏控制台可以动态新增、修改、启用、禁用任务，支持运行一次、原地重跑、重刷数据、停止任务、标记成功等...
云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
工作原理
之后算法模型会动态适配输入的数据，进行持续更新。场景二：修改调度配置对生成实例的影响。修改调度配置后，下一个实例按照新配置生成。算法模型会记忆当前消费的时间位置，进而对新来的数据继续分析。场景三：重试失败的实例。如果实例...
动态启动计算集群运行工作流调度
本文为您介绍如何通过EMR集群的模板功能为EMR Studio动态拉起计算集群来运行工作流，该计算集群会在调度完成后自动释放。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和8443端口。添加安全...
使用工作空间参数
DataWorks在原有任务级别调度参数基础上，新增工作空间级别的调度参数，如果同一个工作空间中的多个参数需配置为相同值，可以使用工作空间参数。工作空间参数可配置为脱敏展示，以保护您的敏感数据；同时，在标准模式工作空间下，生产环境...
2020年功能发布记录
本文介绍 云工作流 2020年度发布的功能变更以及对应的文档动态。2020年5月 功能名称 功能描述 发布时间 相关文档 支持原生定时调度功能 通过原生定时调度功能，可以更容易地定时执行流程，例如生成报表、发送通知、数据流水线等。在流程中...
使用ECI弹性调度Spark作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Spark作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Spark作业。背景信息 如果您需要使用更...
配置任务调度
本文以配置任务write_result的调度周期为周调度为例，为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-04-28 功能名称 变更类型 功能描述 相关文档 任务调度增强 新增 Cron、Fixed rate、Second...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文介绍如何创建秒级调度任务并将设置固定延迟。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java...
如何指定标签
本文介绍如何为任务指定标签。应用场景 主要应用在灰度、压测等场景。同一个应用分组下的机器，部分机器可能要用于灰度或者压测，任务实现类和线上其他机器不一致。任务调度时，机器被随机分配，所以灰度...可将指定标签删除，实现动态生效。
Fixed rate
Cron原生不支持无法被60整除的分钟间隔调度，例如每40分钟执行一次的任务。为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置...
和开源产品对比
在分布式任务调度领域中，Quartz、ElasticJob和XXL-JOB是广受欢迎的开源解决方案。为了更深入地理解分布式任务调度技术并全面评估SchedulerX在此领域的优势与特点，本文将对比SchedulerX与这些主流开源产品的特性与功能。项目 Quartz ...
新建SPARK_SQL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
API调度
您可以使用API触发任务调度。关于API触发的使用方式，请参见 服务接入点。
- 产品推荐
- 这些文档可能帮助您