离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
创建CDH Impala节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建CDH Hive节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建CDH Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建并使用PAI Designer
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
StarRocks
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
创建EMR Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
Oracle节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
SQL Server节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
PostgreSQL节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
创建并使用PAI DLC节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
加工数据
在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。INSERT OVERWRITE TABLE dwd_log_info_di PARTITION(dt='${bizdate}')SELECT ip,uid,time,status,...
加工数据
在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。INSERT OVERWRITE TABLE dwd_log_info_di PARTITION(dt='${bizdate}')SELECT ip,uid,time,status,...
DataWorks大数据开发治理平台
DataWorks提供的调度参数，可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后，需进入调度配置中为变量赋值。本文示例为变量 bizdate 赋值为前一天，即在函数计算节点定时运行时间的前一天，DataWorks会调度运行该节点。更多...
函数计算节点
DataWorks提供的调度参数，可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后，需进入调度配置中为变量赋值。本文示例为变量 bizdate 赋值为前一天，即在函数计算节点定时运行时间的前一天，DataWorks会调度运行该节点。更多...
创建手动任务
说明 DataWorks提供内置参数及相关自定义参数，可供任务调度时实现参数动态赋值。若在代码开发时定义了变量，您可在此处对该变量进行赋值。资源属性 用于配置任务发布至生产环境后使用哪个资源组下发任务。该配置下拉选择的为当前工作空间...
历史功能发布记录（2023年）
全部 无 云原生AI套件 GPU调度支持GPU节点动态划分MIG ACK托管集群 安装 云原生AI套件 的调度组件ack-ai-installer后，通过给GPU节点打上特殊标签，可以让GPU节点开启MIG能力以及动态划分。节点按最大支持MIG实例数上报MIG资源，每个Pod的...
配置规则：按表（单表）
若无21天采样记录，您可在配置了动态阈值类规则且规则关联调度任务后，通过 补数据 功能补齐21天采样记录。进入按表配置监控规则页面 进入数据质量页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据...
如何使用定时任务的灰度
每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的标签，灰度任务指定灰度的标签，通过灰度的任务进行灰度测试。方案二：一个任务通过自动调度和手动调度...
如何使用定时任务的灰度
每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的标签，灰度任务指定灰度的标签，通过灰度的任务进行灰度测试。方案二：一个任务通过自动调度和手动调度...
控制台总览
您可以在任务调度产品控制台总览页面查看所有任务的动态和统计信息。任务统计 显示当前环境中已存在的各类任务数量统计：任务总数：当前环境中已配置的任务总数，包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
调度依赖配置指引
说明 调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换，进而实现任务查询与产出的表分区变更。基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
创建ID安全匹配任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建隐匿信息查询任务
数据分区 数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。使用场景 离线场景：生成预计算文件在后续离线PIR查询中速度较快。在线场景：生成的预计算文件在后续在线PIR查询中速度较快。单击 提交，完成任务的创建。步骤...
创建安全数据对齐任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建安全数据加密任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建安全数据左对齐任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
节点异常问题排查
Dockerd异常处理-RuntimeOffline Containerd异常处理-RuntimeOffline NTP异常处理-NTPProblem 节点PLEG异常-PLEG is not healthy 节点资源异常处理 节点调度资源不足 节点CPU不足 节点内存不足-MemoryPressure 节点索引节点不足-...
节点异常问题排查
Dockerd异常处理-RuntimeOffline Containerd异常处理-RuntimeOffline NTP异常处理-NTPProblem 节点PLEG异常-PLEG is not healthy 节点资源异常处理 节点调度资源不足 节点CPU不足 节点内存不足-MemoryPressure 节点索引节点不足-...
创建安全联邦学习任务（任务模式）
数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。特征数：请输入数据的特征指数。数据集比例划分：用于按比例随机划分训练集和测试集。单击 下一步，配置数据处理参数。参数 描述 算法分类 支持的算法分类为FL决策树、FL...
GPU Device-Plugin相关操作
GPU Device-Plugin重启 在ACK的独占GPU调度场景下，节点上GPU的设备上报的Device Plugin默认以一个Static Pod的形式部署，所以重启过程需要在目标节点上进行。具体操作如下：mv/etc/kubernetes/manifests/nvidia-device-plugin.yml/etc/...
使用ack-descheduler组件对Pod进行调度优化
为了解决实际运行中集群资源无法充分利用或浪费的问题，可以使用ack-descheduler组件对集群的Pod进行调度优化，使部分不合理的Pod能够重新调度到合适的节点上。本文介绍如何使用ack-descheduler组件优化Pod调度。前提条件 已创建ACK集群...
自定义资源组
自定义资源组在DataWorks调度体系中使用，当前DataWorks调度体系分为一级调度资源和二级运行资源：一级调度资源：进入 运维中心 页面，单击左侧导航栏中的 周期任务运维>周期实例。右键单击相应实例的DAG图，选择 查看更多详情，即可在 ...
CPU性能优化场景概述
本文主要介绍了不同场景下的CPU性能优化方案。场景 方案选择 性能 ACK节点运行在开启NUMA的弹性裸金属服务器 计算密集性负载 ...CPU性能优化后，L3感知/缓存和内存带宽动态隔离、CCX/CCD亲和性调度、CPU拓扑感知优化效能提升幅度如下图所示。
使用负载感知调度
考虑到节点的利用率会随着时间、集群环境、工作负载的流量或请求等动态变化，ack-koordinator组件还提供重调度能力，防止在Pod调度完成后，集群再次出现负载极端不均衡的情况。通过将负载感知调度和热点打散重调度结合使用，可以获得集群...
- 产品推荐
- 这些文档可能帮助您