函数计算节点
DataWorks提供的调度参数，可实现调度场景下代码动态传参。在节点编辑页面定义函数变量后，需进入调度配置中为变量赋值。本文示例为变量 bizdate 赋值为前一天，即在函数计算节点定时运行时间的前一天，DataWorks会调度运行该节点。更多...
创建手动任务
说明 DataWorks提供内置参数及相关自定义参数，可供任务调度时实现参数动态赋值。若在代码开发时定义了变量，您可在此处对该变量进行赋值。资源属性 用于配置任务发布至生产环境后使用哪个资源组下发任务。该配置下拉选择的为当前工作空间...
如何使用定时任务的灰度
每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的标签，灰度任务指定灰度的标签，通过灰度的任务进行灰度测试。方案二：一个任务通过自动调度和手动调度...
配置规则：按表（单表）
若无21天采样记录，您可在配置了动态阈值类规则且规则关联调度任务后，通过 补数据 功能补齐21天采样记录。进入按表配置监控规则页面 进入数据质量页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据...
通过函数计算节点发送邮件
DataWorks提供的调度参数，可实现调度场景下代码动态传参。更多调度参数的配置，请参见 调度参数支持的格式。更多调度属性，请参见 任务调度属性配置概述。步骤三：提交并发布节点 函数计算节点需要提交发布至生产环境后，才会自动调度运行...
如何使用定时任务的灰度
每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的标签，灰度任务指定灰度的标签，通过灰度的任务进行灰度测试。方案二：一个任务通过自动调度和手动调度...
查询定时调度
使用命令行工具查看定时调度 在使用命令行工具创建定时调度前，您需要安装和配置阿里云命令行工具CLI。详细信息，请参见 什么是阿里云CLI？查看单个定时调度。（可选）执行以下命令查看该API的请求参数。aliyun fnf DescribeSchedule help ...
控制台总览
您可以在任务调度产品控制台总览页面查看所有任务的动态和统计信息。任务统计 显示当前环境中已存在的各类任务数量统计：任务总数：当前环境中已配置的任务总数，包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量...
创建定时调度
使用命令行工具创建定时调度 在使用命令行工具创建定时调度前，您需要安装和配置阿里云命令行工具CLI。详细信息，请参见 什么是阿里云CLI？可选：执行以下命令查看创建定时调度API的请求参数。aliyun fnf CreateSchedule help 预期输出：...
Airflow调度DLA Spark作业
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过Spark-Submit和Spark-SQL命令行来实现Airflow调度Spark任务。DLA Spark提供了命令行工具包，支持通过Spark-Submit和Spark-SQL方式来提交Spark作业。您...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
调度依赖配置指引
说明 调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换，进而实现任务查询与产出的表分区变更。基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务...
实现虚拟节点Pod可用区打散以及亲和调度
在 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
创建混合云集群
扩容前，请根据业务需要准备好自定义镜像，该自定义镜像中须安装有deadline或custom调度器。关于如何创建自定义镜像，请参见 使用实例创建自定义镜像。步骤一：创建混合云集群 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域...
创建ID安全匹配任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建隐匿信息查询任务
数据分区 数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。使用场景 离线场景：生成预计算文件在后续离线PIR查询中速度较快。在线场景：生成的预计算文件在后续在线PIR查询中速度较快。单击 提交，完成任务的创建。步骤...
删除定时调度
通过命令行工具删除定时调度 在使用前您需要安装和配置阿里云命令行工具CLI。可选：执行以下命令查看该API的请求参数。aliyun fnf DeleteSchedule help 预期输出：Alibaba Cloud Command Line Interface Version 3.0.45 Product:fnf...
创建安全数据对齐任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建安全数据加密任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
修改定时调度
使用工具修改定时调度 在使用前您需要安装和配置阿里云命令行工具CLI。可选：执行以下命令查看该API的请求参数。aliyun fnf UpdateSchedule help 预期输出：Alibaba Cloud Command Line Interface Version 3.0.45 Product:fnf(FunctionFlow...
创建安全数据左对齐任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据引入 选择使用方和加持...
创建安全联邦学习任务（任务模式）
数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。特征数：请输入数据的特征指数。数据集比例划分：用于按比例随机划分训练集和测试集。单击 下一步，配置数据处理参数。参数 描述 算法分类 支持的算法分类为FL决策树、FL...
自定义资源组
如果使用自定义调度资源组出现问题，需要首先确认Agent是否安装监控。操作如下所示：登录机器，切换至有权限账号下。执行下述命令。wget ...
开启集群虚拟节点调度策略
步骤一：确认组件已安装且版本适用 虚拟节点开启调度策略依赖于Kube Scheduler以及ACK Virtual Node两个组件，且两个组件的版本需符合要求。请按照以下步骤确认组件安装情况以及版本。登录 容器服务管理控制台，在左侧导航栏选择 集群。在 ...
开启集群虚拟节点调度策略
步骤一：确认组件已安装且版本适用 虚拟节点开启调度策略依赖于Kube Scheduler以及ACK Virtual Node两个组件，且两个组件的版本需符合要求。请按照以下步骤确认组件安装情况以及版本。登录 容器服务管理控制台，在左侧导航栏选择 集群。在 ...
在Kubernetes集群中部署SchedulerX
使用场景 使用SchedulerX调度K8s Job有如下优势。可在线编辑脚本Pod K8s Job常用于数据处理和运维场景，一般以脚本实现居多。原生的使用方式需要将脚本打包到镜像里，在YAML文件中配置脚本命令。如果要修改脚本，需要重新构建镜像和发布。...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
配置集群连接
步骤四：执行安装命令 在目标集群导入下载的描述文件并解压后执行安装命令，完成应用的安装与授权。安装命令如下：重要 执行安装命令前，请联系Dataphin部署运维团队获取自定义资源组引用的镜像文件，并在目标集群的指定机器中导入镜像。每...
CPU性能优化场景概述
本文主要介绍了不同场景下的CPU性能优化方案。场景 方案选择 性能 ACK节点运行在开启NUMA的弹性裸金属服务器 计算密集性负载 ...CPU性能优化后，L3感知/缓存和内存带宽动态隔离、CCX/CCD亲和性调度、CPU拓扑感知优化效能提升幅度如下图所示。
调度概述
使用负载热点打散重调度 精细化调度 ACK为特定的应用提供了精细化的调度策略，如资源规格智能推荐、动态资源超卖等。功能 描述 参考文档 资源规格智能推荐 提供资源画像能力，实现容器粒度的资源规格推荐，降低容器配置的复杂度。资源画像 ...
在PyODPS节点中调用第三方包
背景信息 DataWorks支持可视化创建Python资源，若需要依赖开源第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务代码时引用，如果...
通过ack-co-scheduler组件实现协同调度
本文介绍通过为注册集群安装ack-co-scheduler组件的方式，以实现在您的本地集群中使用阿里云容器服务ACK的调度能力，让您能够便捷地使用容器服务对于大数据、AI等应用扩展出的差异化能力，提高应用的运行效率。前提条件 已创建注册集群，并...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
开发PyODPS 3任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
开发PyODPS 3任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
使用ack-descheduler组件对Pod进行调度优化
为了解决实际运行中集群资源无法充分利用或浪费的问题，可以使用ack-descheduler组件对集群的Pod进行调度优化，使部分不合理的Pod能够重新调度到合适的节点上。本文介绍如何使用ack-descheduler组件优化Pod调度。前提条件 已创建ACK集群...
开发PyODPS 2任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
开发PyODPS 2任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
YARN调度器
重调度（ReScheduler）：是周期性运行的动态资源监测框架，内部有多个资源监测策略，包括队列间抢占、队列内抢占和预留资源抢占等。节点排序管理器（Nodes Sorting Manager）与放置约束管理器（Placement Constraints Manager）：是主调度...
- 产品推荐
- 这些文档可能帮助您