资源调度概述
ACS兼容Kubernetes原生调度能力，支持不同类型的工作负载混合调度，并提供弹性资源、异构资源等精细化调度能力。本文介绍ACS兼容的Kubernetes原生调度能力和任务调度能力。兼容的Kubernetes原生调度能力 ACS兼容Kubernetes原生调度能力，但...
并行查询使用限制和兼容性问题
串行化隔离级别事务内的查询语句无法并行。隔离级别是Repeatable-read的情况下，事务内的INSERT.SELECT/REPLACE.SELECT查询部分无法并行。与串行执行结果可能不兼容的地方 错误提示次数可能会变化 串行执行中出现错误提示的查询，在并行...
Spring任务
通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX平台具体操作，请参见 Spring Boot应用接入SchedulerX。接入指南 接入配置 以Spring Boot接入模式为例，应用...
UpdateTaskFlowSchedule-更新任务流调度配置
其中 定时调度可配置调度一次或周期调度，事件调度可配置的订阅包括任务流和任务流节点。配置更新后，将任务流重新发布并部署，新的任务流实例将按照配置的调度设置进行调度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算...
设置节点调度状态
您可以通过容器服务控制台设置节点调度状态，从而合理分配各节点的负载。操作步骤 登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在左侧导航栏，选择 节点管理>节点。在 节点 页面中，在目标...
AI负载调度
弹性调度提供差异化调度ECS和ECI资源的能力，支持自定义弹性资源优先级调度策略。在应用发布或扩容过程中，按照自定义资源策略，设置应用实例Pod被调度到不同类型节点资源的顺序。同时在缩容过程中按照原调度顺序逆序缩容。例如在扩容过程...
Spring任务
通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX平台具体操作，请参见 Spring Boot应用接入SchedulerX。接入指南 接入配置 以Spring Boot接入模式为例，应用...
扩展MapReduce（MR2）
与Hadoop Chain Mapper/Reducer对比 Hadoop Chain Mapper/Reducer也支持类似的串行化Map或Reduce操作，但和MaxCompute的扩展MapReduce（MR2）模型有本质的区别。Chain Mapper/Reducer基于传统的MapReduce模型，仅可以在原有的Mapper或...
成本估算策略介绍
Pod成本的计算公式如下所示：权重值依据集群的调度水位确定，集群中CPU调度水位和内存调度水位的比例、权重的计算方式如下所示：CPU调度水位：内存调度水位：CPU权重：内存权重：使用示例 通过以下两种示例，展示如何选择成本估算策略。...
节点管理
信息模块 具体信息 基本信息 节点服务器 IP 节点的创建时间 调度状态：可调度状态 不可调度状态 机器详情：单击 前往查看 进入云服务器管理控制台，可查看节点服务器详细信息，例如基本信息及配置、付费、监控等信息。注释：系统注释信息 ...
节点调度
您可以通过控制台设置节点调度状态，从而合理分配各节点的负载。前提条件 已创建集群 或 已导入集群 暂停调度 节点暂停调度后，在后续进行应用部署时，Pod 不会再调度到该节点。...返回到节点详情页，可以看到节点状态将变为 可调度。
GPU节点调度属性标签
安装云原生AI套件的调度组件ack-ai-installer之后，您可以为GPU节点打上调度属性标签，帮助GPU节点启用共享GPU调度、GPU拓扑感知调度等能力。本文介绍GPU节点调度属性标签及如何切换标签的值。GPU节点调度属性标签说明 标签ack.node.gpu....
设置调度器参数
如果没有其他操作触发调度（例如提交作业、重启调度服务），则时隔调度周期触发一次调度。最大作业数 最大允许的作业数。最大排队作业数 最大允许的排队作业数。调度器队列参数配置 队列 选择要设置的队列。队列资源限制 单击 新增限制。...
查看并管理脚本实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。脚本实例列表支持的操作 操作 描述 DAG图 单击 可查看该周期...
kube-scheduler组件监控
队列种类如下：unschedulable：表示不可调度的Pod数量。backoff：表示backoffQ的Pod数量。active：表示activeQ的Pod数量。scheduler_pod_scheduling_attempts_bucket Histogram 调度器尝试成功调度Pod的次数，Bucket阈值为1、2、4、8、16。...
更改共享GPU调度显存最小分配单位
若集群创建时间早于2021年10月20日，需要 提交工单 让售后同学重启调度器，配置才能生效。更改显存单位 未安装ack-ai-installer 登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在左侧导航栏，...
kube-scheduler
修复剩余IP感知调度中由于剩余IP计数错误导致可调度Pod变少的问题 v1.24.6-aliyun-6.3.548a9e59 2024年01月10日 自定义弹性资源优先级调度 调度修复了使用自定义弹性资源优先级调度时，ECI可用区亲和以及打散不生效的问题。CPU拓扑感知调度...
DataWorks资源组概述
任务同一个执行阶段可选择不同类型的资源组，例如，离线任务调度可选择包年包月独享调度资源组，或按量付费公共调度资源组，数据集成离线任务执行可选择包年包月独享数据集成资源组，关于资源组选择详情请参见 资源组选择。DataWorks的公共...
任务管理
任务管理就是为多任务环境中的每个任务分配一个上下文（context）（上下文（context）是指当任务被调度执行的所必不可少的一组数据，包括前任务的CPU指令地址（PC指针），当前任务的栈空间，当前任务的CPU寄存器状态等），在任务相继执行...
计算资源使用
通过对Quota配置规则条件，实现满足规则条件的作业可调度到对应Quota。配额组（Quota）使用逻辑图如下所示。Project设置默认Quota Project设置默认计算Quota，即此Project发起的作业默认会使用默认Quota的资源进行计算，无需其他设置。新建...
EDAS应用支持金丝雀发布时指定任务调度比例
EDAS支持已接入SchedulerX的应用在金丝雀发布时指定任务调度比例规则。规则配置完成后，升级后的任务应用会经过小规模验证，验证通过后再全量升级，保障升级过程平稳无损。本文介绍如何将已接入SchedulerX的EDAS应用在金丝雀发布时配置任务...
查看并管理脚本实例
脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作，支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。...
使用负载热点打散重调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
基本概念
可视化服务 创建可视化服务后，您可以通过E-HPC管理控制台远程打开云桌面或APP，进行高性能计算的图形化前后处理工作。高性能容器应用 通过高性能容器应用，您可以在E-HPC集群上通过容器应用完成高性能计算作业，利用E-HPC集群的强大算力和...
如何在SchedulerX 2.0平台上托管ElasticJob任务
背景信息 ElasticJob基于Quartz开发并且依赖ZooKeeper作为注册中心，是一款轻量级、无中心化的分布式任务调度框架，目前已经通过Apache开源。更多信息，请参见 ElasticJob。SchedulerX 2.0优势 丰富的可视化能力 查看用户大盘 查看任务历史...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
YARN资源配置
从EMR-3.49.0及之后版本，EMR-5.15.0及之后版本开始，EMR会根据集群初始化的机型和服务选择情况，在创建集群过程中动态调整组件的默认内存设置，而不是使用之前版本中的默认配置。本文为您介绍YARN组件堆内存大小配置以及YARN资源配置的...
管理工作流定义
工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。本文为您介绍如何创建工作流及工作流定义的相关操作。前提条件 已新建项目，详情请参见 管理项目。创建工作流 进入项目管理页面。使用阿里云账号...
节点异常问题排查
2 Insufficient ephemeral-storage 其中调度器判定节点资源不足的计算方式为：集群节点CPU资源不足的判定方式：当前Pod请求的CPU资源总量>（节点可分配的CPU资源总量-节点已分配的CPU资源总量）集群节点内存资源不足的判定方式：当前Pod...
Pod诊断
节点是否不可调度 检查节点是否不可调度。节点不可调度，请检查节点调度设置。具体操作，请参见 设置节点调度。节点OOM情况 检查节点是否出现OOM。节点出现OOM问题，请收集节点日志并 提交工单 处理。关于收集节点日志操作，请参见 一键...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
K8s任务
如下所示，获取SchedulerX任务参数值：优势 相较于K8s原生的Job功能，采用SchedulerX调度K8s Job具有以下显著优势：可在线编辑的脚本Pod K8s Job常用场景是用来做数据处理和运维，一般以脚本实现居多。原生的使用方式需要把脚本打包到镜像...
创建有状态工作负载StatefulSet
参数 请求类型 配置说明 存活检查（Liveness）：用于检测何时重启容器。就绪检查（Readiness）：确定容器是否已经就绪，且可以接受流量。启动探测（Startup Probes）：用于检测何时启动容器。说明 仅Kubernetes集群1.18及之后版本支持启动...
Task快速重启配置
此外，还可以缓解高并发的情况下，所有Task进行一轮Failover的调度时间和初始化给集群造成的压力，从而降低Failover对作业的影响。目前Task快速重启支持两种一致性语义：APPROXIMATE（不保证数据不丢失和重复）和AT_LEAST_ONCE（保证数据不...
自定义资源组
不同资源组的初始化命令不同，且不可互相使用。请务必完全复制 服务器初始化 对话框中的命令，并按照顺序执行。专有网络的机器需要执行经典网络的初始化语句。时间与北京时间相差5分钟以上。确认方法如下：登录ECS。执行命令 date，查看...
创建安全沙箱应用
您可以在安全沙箱Kubernetes集群中使用镜像创建一个可公网访问的nginx应用。索引 前提条件 步骤一：登录容器服务控制台 步骤二：配置应用基本信息 步骤三：配置容器（可选）步骤四：高级配置 查看结果 执行结果 前提条件 创建一个安全沙箱...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
- 产品推荐
- 这些文档可能帮助您