附录：调度器插件的常用OpenAPI说明
软件配置阶段，在安装调度器过程中，系统会定时地调用服务检测功能（SchedServiceCheck），检测调度器是否安装成功。若不成功则继续等待软件安装，若成功则继续执行下一步。执行节点加入调度器检测（NodeJoinCheck）。在此定时检测中，若...
E-HPC集群调度器插件
例如，在EDA业务场景下，通常情况使用的调度器为商用调度器，但E-HPC平台无法提供商用License供您安装，此时，您可以自行安装调度器并通过调度器插件接入E-HPC平台的能力。调度器插件为您提供了插件模版及配置文件，并将功能定义进行模块化...
GPU拓扑感知调度
Kubernetes对节点的GPU拓扑信息不感知，调度过程中对GPU的选择...关于GPU拓扑感知调度如何使用，请参见以下文档：GPU拓扑感知调度概述 安装GPU拓扑感知组件 Tensorflow分布式训练使用GPU拓扑感知调度 Pytorch分布式训练使用GPU拓扑感知调度
历史功能发布记录（2023年）
全部 无 云原生AI套件 GPU调度支持GPU节点动态划分MIG ACK托管集群 安装 云原生AI套件 的调度组件ack-ai-installer后，通过给GPU节点打上特殊标签，可以让GPU节点开启MIG能力以及动态划分。节点按最大支持MIG实例数上报MIG资源，每个Pod的...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
Quick BI v4.3版本说明
支持多种调度方式，包括手动调度，周期调度和动态参数调度。支持任务发布状态管理和运维管理。移动端 移动端图表展示支持栅格布局，一行可放置多个图表。支持布局缩放来调整单个组件尺寸和位置。支持布局个性化隐藏Tab内的单个图表。可视化...
负载均衡调度算法介绍
动态负载调度：当服务器的连接数和负载情况经常发生变化时，可以通过实时监控连接数并进行动态调整，实现动态的负载均衡。高稳定性要求：对于需要实时响应和高稳定性的应用场景，通过加权最小连接数算法可以降低服务器的负载，提高系统的...
应用场景
接驳优化推荐：动态公交调度、公交线网优化、公交排班优化、地铁运营与检修排班。MaaS出行服务：个性化联程方式出行规划、一码通乘服务、出行核验、用户运营管理。案例说明 场景：某城市希望提升公共交通在城市级大型赛会活动时的服务水平...
数据开发：开发者
说明 代码开发过程中，若需使用变量动态替换调度场景下的参数，可在代码中使用${自定义变量名} 方式先定义变量，并在步骤五配置调度属性时为该变量赋值。调度参数的使用，详情请参见 调度参数支持的格式。不同类型节点任务的开发语法，详情...
使用GPU拓扑感知调度（Tensorflow版）
ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，即在节点的GPU组合中选择具有最优训练速度的组合。本文介绍如何使用GPU拓扑感知调度来提升TensorFlow分布式训练的训练速度。...相关文档 GPU拓扑感知调度概述 安装GPU拓扑感知调度组件
使用GPU拓扑感知调度（Pytorch版）
ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，即在节点的GPU组合中选择具有最优训练速度的组合。本文介绍如何使用GPU拓扑感知调度来提升PyTorch分布式训练的训练速度。...相关文档 GPU拓扑感知调度概述 安装GPU拓扑感知调度组件
集群概述
E-HPC支持的调度器如下：类型 调度器 控制台显示 PBS PBS Pro19 pbs19 PBS Pro18 pbs 说明 由选择的镜像决定安装的调度器软件版本。OpenPBS 20 OpenPBS 22 Slurm Slurm 22 slurm22 Slurm 20 slurm20 Slurm 19 slurm19 Slurm 17 slurm ...
创建Spark任务
由Fleet实例根据Spark任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发Spark任务。本文介绍如何创建Spark任务并查看任务状态。前提条件 Fleet实例默认已安装Spark Operator的Spark Application CRD，支持的...
创建任务Job
创建完成后，由Fleet实例根据任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发任务，任务在关联集群上运行，并返回状态到Fleet实例。本文介绍如何在Fleet实例中创建任务Job。前提条件 已开启舰队管理功能。...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
共享GPU调度
容器服务 Kubernetes 版 ACK（Container ...若ACK专有版集群已安装共享GPU调度基础版，在迁移至ACK Pro托管版集群后，需要将共享GPU调度基础版升级为共享GPU调度专业版。具体操作，请参见 ACK专有版集群迁移至ACK集群Pro版后升级共享GPU组件。
GPU节点调度属性标签
安装云原生AI套件的调度组件ack-ai-installer之后，您可以为GPU节点打上调度属性标签，帮助GPU节点启用共享GPU调度、GPU拓扑感知调度等能力。本文介绍GPU节点调度属性标签及如何切换标签的值。GPU节点调度属性标签说明 标签ack.node.gpu....
使用共享GPU调度（eGPU）
说明 ACK灵骏托管版集群默认会安装基于eGPU的共享GPU调度组件，您可以在ACK灵骏托管版集群中直接使用基于eGPU的GPU共享能力。关于如何判断集群是否已安装基于eGPU的共享GPU组件的具体操作，请参见 如何查看是否已安装基于eGPU的共享GPU组件...
在ACK专有版集群中使用共享GPU调度
如您需要在 ACK专有版集群 中使用共享GPU调度基础版，请参见...基础版迁移专业版 安装共享GPU调度组件 运行共享GPU调度组件 使用共享GPU调度实现仅共享不隔离能力 使用共享GPU调度实现cGPU算力分配策略 解决专业版集群升级共享GPU调度失效问题
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
安装Elastic Workload
弹性负载会监听原始负载，并根据弹性单元设定的调度策略，克隆并生成弹性单元的负载。根据弹性负载中副本的变化，动态地分配原始负载和弹性单元上面的副本数目。本文介绍如何安装以及使用Elastic Workload（弹性负载）。前提条件 您已经...
集群任务限流
动态限流 动态限流通过任务调度控制台调整限流速率，不管是否提供限流器，动态限流都可以正常工作。如果没有指定限流器，任务调度客户端使用默认的 DefaultLimiter 限流器。配置方式有以下两种：全局生效 在配置或编辑任务调度时配置的限流...
更改共享GPU调度显存最小分配单位
关于安装共享GPU调度专业版的组件，请参见 安装共享GPU调度组件。集群类型为ACK Pro且集群版本≥1.18.8。关于创建ACK Pro集群和升级集群，请参见 创建ACK Pro版集群 和 升级集群。注意事项 如果集群中已存在共享GPU应用（申请了aliyun....
产品架构
ZooKeeper(Global和Local)：服务活动情况汇报给调度服务，动态配置更新。Nginx Proxy：支持私有协议的Nginx代理服务，针对不同文件一致性Hash到不同的Channel服务。Channel服务：记录文件和拥有文件的端点地址信息，为下载提供就近的端点...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
使用负载热点打散重调度
cpu usage(76.72%)>threshold(50.00%)"55s Normal Killing pod/stress-demo-588f9646cf-7*Stopping container stress 步骤一：安装或修改组件ack-koordinator并开启重调度 未安装ack-koordinator组件 安装ack-koordinator组件，并在 安装...
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
通过Docker安装并使用cGPU服务
具体操作，请参见 安装共享GPU调度组件。运行cGPU服务 影响cGPU服务的环境变量如下表所示，您可以在创建容器时指定环境变量的值，该值可以控制容器通过cGPU服务获得算力。环境变量名称 取值类型 说明 示例 CGPU_DISABLE Boolean 是否禁用...
接入 Android
业务方可以使用 mPaaS 的开关配置动态控制移动调度中心和 IPv6 的开关。开启移动调度中心开关，RPC 使用移动调度中心配置；关闭移动调度中心开关，RPC 不使用移动调度中心配置。开关默认开启。MPRpc.openMGDC(isOpen);关闭 IPv6 开关，RPC ...
通过向导模式配置离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。不同插件增量同步配置与实现方式不同，关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 在数据过滤和目标表...
通过共享GPU调度实现算力分配
关于安装共享GPU组件的具体操作，请参见 安装共享GPU调度组件。cGPU版本为1.0.5及以上。关于cGPU的升级操作，请参见 升级节点cGPU版本。使用限制 共享GPU调度目前支持 仅申请显存 和 同时申请显存和算力 两种任务，这两种任务不能同时存在...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
ack-koordinator（ack-slo-manager）
类型 功能文档 与Koordinator开源版本一致 CPU调度 CPU拓扑感知调度 否 CPU Burst性能优化策略 是 负载感知调度 负载感知调度 是 热点打散重调度 是 精细化调度 资源画像 否 动态资源超卖 是 弹性资源限制 是 容器CPU QoS 是 容器内存QoS ...
使用插件部署混合云集群
该步骤需要您自行准备LSF安装包并安装LSF调度器。激活环境变量。cp/opt/lsf/conf/profile.lsf/etc/profile.d/lsf.sh source/opt/lsf/conf/profile.lsf 下线manager节点。badmin hclose manager 拷贝LSF插件。rm-rf/opt/plugin/*mkdir-p/opt...
使用负载感知调度
考虑到节点的利用率会随着时间、集群环境、工作负载的流量或请求等动态变化，ack-koordinator组件还提供重调度能力，防止在Pod调度完成后，集群再次出现负载极端不均衡的情况。通过将负载感知调度和热点打散重调度结合使用，可以获得集群...
- 产品推荐
- 这些文档可能帮助您