高级功能：全局变量
全局变量可以减轻您在使用PAI平台配置组件时，重复配置参数的工作量。支持创建和删除全局变量，并通过复制功能获取全局变量的引用方式。本文介绍如何配置与使用全局变量。应用场景 工作流中多个组件使用相同的参数。详情请参见 示例1：工作...
工作空间调度中心
调度中心提供了工作空间维度的资源管理和调度机制，支持管理员根据不同的业务需求和使用场景，灵活进行资源调度配置。前提条件 已创建工作空间，详情请参见 创建工作空间。配置策略 登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作...
通过工作空间管理权限
资源调度：工作空间提供调度中心，您可以根据资源使用的组件、角色精细化分配资源配额；或任务最大运行时长和任务优先级，保证资源的被合理使用。角色定义 为满足AI开发和管理的需求，PAI定义了以下多种角色，以便团队根据内部分工为成员或...
如何在调度任务中自动同步PAI模型至OSS
本文为您介绍如何在调度任务中，自动同步PAI模型至OSS。前提条件 在开始执行操作之前，请确认您已经完成以下准备工作：已开通OSS并创建OSS Bucket存储空间，详情请参见 开通OSS服务 和 控制台快速入门。已完成OSS访问授权，详情请参见 云...
离线批量预测
离线预测工作流部署周期性调度 离线预测工作流测试通过后，您可以将预测工作流提交到DataWorks进行周期性调度，详情请参见 使用DataWorks离线调度Designer工作流。对于工作空间是DataWorks 标准模式 的用户来说，开发环境和生产环境的...
工作流编辑
背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目，详情请参见 项目管理。已编辑好作业，详情请参见 作业编辑。新建...
在线模型服务定时自动更新
部署周期性更新任务 如果您需要定时执行上述的模型训练和更新线上服务的流程，可以将上述工作流提交到DataWorks进行周期性调度，详情请参考 使用DataWorks离线调度Designer工作流。相关文档 您可以前往PAI-EAS模型在线服务页面，查看已部署...
配置同周期调度依赖
附录二：最佳实践 跨工作空间、同工作空间跨业务流程设置节点依赖，详情请参见 场景3：如何配置跨业务流程、跨工作空间的调度依赖。附录三：删除或变更节点输出的影响 当节点产出的表数据变更导致节点输出的变更，或直接手动修改节点输出时...
工作流使用案例
配置工作流调度 您可以打开工作流调度开关并配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍配置工作流的基本属性、调度属性和告警设置。完成工作流设计后，单机画布右上角 配置 按钮...
调度依赖配置指引
DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引，避免因调度依赖配置...
服务初始化
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
管控台概览
同时支持开发者快速体验并了解不同场景下产品功能，算法效果以及算法原理。同时用户可以在概览页全局统计本账号下项目个数，计量用量，以及帮助文档快速链接。我的项目 服务总量：该账号下所有已创建服务。已上线服务：该账号下所有已上线...
节点伸缩概述
工作原理 在Kubernetes中，节点伸缩的工作原理与传统意义上基于使用率阈值的模型有所差别。这也是从传统IDC或其他编排系统迁移到Kubernetes集群后往往需要解决的问题。传统的弹性伸缩模型基于使用率实现。例如，一个集群中有3个节点，当...
Designer使用案例汇总
SimRank+相似度计算算法 介绍协同过滤算法SimRank的原理和其应用在个性化推荐场景时的改进，以及如何在生产环境部署SimRank+算法。改进版swing相似度计算算法 介绍改进版swing相似度算法原理，包括工具包下载、工具包详细参数说明以及常见...
什么是视觉计算服务
提供视觉数据接入、AI算法训练、计算资源调度的能力，通过API支撑开发业务应用，同时帮助开发者提升视觉AI创新效率，专注核心业务创新。VCS支持视频采集、存储、分析全过程，向企业、开发商和个人提供数据服务；同时支持视觉数据接入、视觉...
使用负载感知调度
工作原理 负载感知调度功能由ACK调度器和ack-koordinator组件配合完成。其中，ack-koordinator负责节点资源利用率的采集和上报，ACK调度器会根据利用率数据对节点进行打分排序，优先选取负载更低的节点参与调度。关于ack-koordinator组件...
K均值聚类算法（K-Means）
该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，将每一个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类。即K-Means算法将输入表的...
什么是AutoML
相关文档 AutoML工作原理（推荐）了解AutoML原理机制，实验、Trial、训练任务关系，帮助您理解后续配置项间的逻辑关系。新建实验 通过控制台创建新实验，以及了解其中的关键参数如何配置。AutoML使用案例汇总 您可以通过实际案例，来使用...
CPU拓扑感知调度
ACK基于新版的Scheduling framework实现CPU拓扑感知调度，针对CPU敏感型的工作负载提供更好的性能。本文介绍如何使用CPU拓扑感知调度。前提条件 您已创建ACK Pro版集群。具体步骤，请参见 创建ACK Pro版集群。重要 目前CPU拓扑感知调度仅...
Lasso回归训练
Lasso（Least absolute shrinkage and selection operator）回归算法是一种压缩估计算法。Lasso回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍Lasso回归训练组件的配置方法。使用限制 支持的...
基本概念
概念 说明 工作空间 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作角色，以实现多角色协同工作。调度资源...
修改工作流集群配置
本文介绍如何修改工作流集群的配置。前提条件 已安装阿里云CLI 3.0.172或以上版本 并 配置凭证。已下载JSON数据处理工具。本文以JSON处理器jq为例，下载步骤，请参见 jq Download。指定集群虚拟交换机 创建ECI实例时，您可以通过指定多个...
图算法
进入【实例详情】-【图算法】-【算法分析】页面新建和编辑算法配置，如需周期调度任务，可通过定时配置进行按天调度。1）最短路径 确定边集选择，选中图中已关闭【索引优化】的边表可进行算法分析。支持选择多条边，对于部分可以用到边的...
新建PAI_DESIGNER任务
机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。本文为您介绍如何新建PAI_DESIGNER任务。前提条件 在开始执行操作前，请确认您已满足以下条件：基于机器学习的PAI-Designer完成工作流的创建...
新建PAI_DESIGNER任务
机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。本文为您介绍如何新建PAI_DESIGNER任务。功能上线时间 华东2（上海）、华北2（北京）：2022年03月03日 华南1（深圳）、华东1（杭州）：2022年...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
AutoML工作原理
AutoML实现自动化调试参数的工作原理，是通过实验、Trial、训练任务进行循环迭代，来找到最优的超参组合。AutoML的工作机制如下图。您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行...
算法任务配置
为您的摄像头设备（IPC设备）配置算法后，可以在边缘一体机管理控制台配置算法任务，将任务部署到边缘一体机。前提条件 已完成摄像头设备的网络配置，并在本地上线设备。该边缘一体机已获取算法。说明 若该边缘一体机没有算法，请联系您...
服务定时自动部署
步骤二：部署上述工作流至DataWorks 参考 使用DataWorks离线调度Designer工作流，将上述工作流一键部署至DataWorks作为定时调度节点。如果您在步骤一中引入了Designer全局变量，请参考 示例2：定时调度参数替换，在节点调度配置中将全局...
HTTP任务
定时参数说明如下：配置项 说明 时间类型 none：无调度方式，一般通过工作流触发。cron：Cron表达式。api：通过API触发。fixed_rate：固定频率。second_delay：秒级固定延迟。onetime：一次性任务。cron表达式（仅适用于 cron 时间类型）...
数据集成
同步任务调度配置 节点依赖关系 离线同步任务 离线同步任务的上游任务：由于同步任务可依赖平台侧血缘，因此，您可根据工作空间业务复杂性，选择挂载依赖至 工作空间根节点或 虚拟节点，即由工作空间根节点调度当前节点执行，还是由虚拟...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
功能特性
工作流调度简介 定时调度 EventBridge事件调度 应用（Application）Serverless工作流旧版控制台应用中心是专门针对Serverless架构下工作流应用的管理和开发平台，提供一键部署与模块化应用构建。提供一个便捷、高效、一体化的环境，来开发...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
Spring任务
定时参数说明如下：配置名称 意义 时间类型 none：无调度方式，一般通过工作流触发。cron：Cron表达式。api：通过API触发。fixed_rate：固定频率。second_delay：秒级固定延迟。one_time：一次性任务。cron表达式（仅适用于 cron 时间类型...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
操作流程
场景模式操作流程 场景任务适用于算法相对比较复杂，算法流程由多个节点，包括系统节点和多个批量、流式等类型的计算类节点，在一个场景内的混合编排组成的节点工作流。流程图 流程说明 操作 说明 新建场景 通过新建开发场景，并在开发场景...
操作流程
场景模式操作流程 场景任务适用于算法相对比较复杂，算法流程由多个节点，包括系统节点和多个批量、流式等类型的计算类节点，在一个场景内的混合编排组成的节点工作流。流程图 流程说明 操作 说明 新建场景 通过新建开发场景，并在开发场景...
K8s任务
如下所示，获取SchedulerX任务参数值：优势 相较于K8s原生的Job功能，采用SchedulerX调度K8s Job具有以下显著优势：可在线编辑的脚本Pod K8s Job常用场景是用来做数据处理和运维，一般以脚本实现居多。原生的使用方式需要把脚本打包到镜像...
- 产品推荐
- 这些文档可能帮助您