阿里云CDN的五大竞争力
基于内容调度，提高访问命中率：在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术，302调度是一种中心调度方案，用户在请求某一个资源的时候，在完成域名DNS解析之后，用户请求将会先访问到中心调度系统上，...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
ECS系统事件汇总
Scheduled：因系统维护实例重启计划中 Instance:SystemMaintenance.Reboot:Executing：因系统维护实例重启执行中 Instance:SystemMaintenance.Reboot:Executed：因系统维护实例重启已完成 Instance:SystemMaintenance.Reboot:Avoided：因...
修改预约重启时间
在 计划内运维事件 列表中，在 云服务器 页签下，找到已经设置了重启计划的ECS实例，在 操作 列，单击 预约重启。在 预约重启时间 页面，选择 预约日期 和 预约时间。说明 预约重启时间不能超过 最晚可预约时间。其中，最晚可预约时间 比 ...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
ECI自定义condition
Pod status condition可以提供Pod状态和健康状况的信息...reason message 说明 SystemFailure.Reboot%s 因系统错误重启ECI Pod。InstanceFailure.Reboot%s 因操作系统错误重启ECI Pod。SystemFailure.Redeploy%s 因系统错误重新部署ECI Pod。
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
实例事件通知
以 因系统维护实例重启（SystemMaintenance.Reboot）的事件为例，事件通知的JSON格式如下所示。首次发布运维事件，事件处于 已计划（Scheduled）状态。{"id":"2256A988-0B26-4E2B-820A-8A*E5","product":"ECS","resourceId":"acs:ecs:...
包年包月实例升配规格
如果选择了预约重启并设置了重启时间，您可以在ECS控制台的 事件>待处理事件>变配重启事件 中查看或修改预约时间。警告 重启实例会造成您的实例停止工作，可能导致业务中断，建议您在非业务高峰期时执行该操作。阅读升配须知，如无问题，...
调度概述
ACK Scheduler是ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统。ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源...
历史数据清理
重启调度 说明 关闭工单后，若需要重启调度只能重新提工单。修改工单责任人 工单责任人默认是工单提交者。定时调度的暂停、重启，只有工单责任人有权限执行，每次调度执行的邮件通知，也只会发给责任人。定时任务生成后，系统将会按照设置...
调度参数
由于调度参数仅经过调度系统才能被自动替换，因此，如果您需通过数据开发测试调度参数在调度系统的替换情况，可选择开发环境冒烟测试。说明 由于数据集成任务没有开发环境测试功能，所以如果您需测试该类任务调度参数替换情况，建议新建...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
节点异常问题排查
NodePIDPressure 节点磁盘空间不足-DiskPressure 节点IP资源不足-InvalidVSwitchId.IpNotEnough 节点网络异常处理 节点网络异常 节点其他异常处理 节点异常重启 如何解决auditd进程占用大量磁盘IO或者系统日志中出现audit:backlog limit ...
节点异常问题排查
NodePIDPressure 节点磁盘空间不足-DiskPressure 节点IP资源不足-InvalidVSwitchId.IpNotEnough 节点网络异常处理 节点网络异常 节点其他异常处理 节点异常重启 如何解决auditd进程占用大量磁盘IO或者系统日志中出现audit:backlog limit ...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
Pod诊断
节点操作系统版本 检查节点操作系统版本，系统版本过低可能造成集群功能异常。无。节点runc进程泄露情况 检查节点runc进程是否发生泄露，runc进程泄露可能会导致节点间歇性地处于NotReady状态。节点runc进程泄露，请检查并手动关闭泄露的...
自定义资源组
自定义资源组在DataWorks调度体系中使用，当前DataWorks调度体系分为一级调度资源和二级运行资源：一级调度资源：进入 运维中心 页面，单击左侧导航栏中的 周期任务运维>周期实例。右键单击相应实例的DAG图，选择 查看更多详情，即可在 ...
任务常见问题
如果持续报错且每次报错的workerAddr都是同一台机器，说明服务端和客户端长连接断开，需要将该Worker节点重启或者升级SchedulerX客户端版本至最新版本。升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0...
工作原理
本文介绍定时SQL功能的背景信息、功能简介、基本概念、调度与执行场景、使用建议等信息。背景信息 基于时间的数据（日志、指标）在日积月累后的数量是惊人的。例如每天产生1000万条数据，则一年为36亿条数据。一方面，长时间的数据存储需要...
K8s任务
重要 通过SchedulerX运行K8s Pod，建议不要运行长周期的Pod（比如Web应用，一旦启动永远不会结束），重启策略需要设置成Never（否则Pod会不断重启）。通过环境变量获取任务参数 SchedulerX系统支持将任务参数预先配置到环境变量中，这样...
节点诊断
节点操作系统版本 检查节点操作系统版本，系统版本过低可能造成集群功能异常。无。节点runc进程泄露情况 检查节点runc进程是否发生泄露，runc进程泄露可能会导致节点间歇性地处于NotReady状态。节点runc进程泄露，请检查并手动关闭泄露的...
使用DMS进行数据归档
调度周期配置表 配置项 说明 调度周期 选择调度任务的周期：小时：按设定的小时执行任务调度，需要配置定时调度。日：按每日一次的频率执行任务调度，需要配置每日调度的具体时间。周：以周为周期，每个指定天执行一次任务调度，需要配置...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
配置eci-profile
eci-profile可以实现以下三个功能：ECI Scheduler 在混合使用ECI和普通节点的场景下，一般可以通过配置Pod Label、配置Namespace Label和配置ECI弹性调度等方式将Pod调度到ECI，但这些方式均需要对存量资源做一定的修改，无法做到零侵入。...
配置eci-profile
eci-profile可以实现以下三个功能：ECI Scheduler 在混合使用ECI和普通节点的场景下，一般可以通过配置Pod Label、配置Namespace Label和配置ECI弹性调度等方式将Pod调度到ECI，但这些方式均需要对存量资源做一定的修改，无法做到零侵入。...
配置eci-profile
eci-profile可以实现以下三个功能：ECI Scheduler 在混合使用ECI和普通节点的场景下，一般可以通过配置Pod Label、配置Namespace Label和配置ECI弹性调度等方式将Pod调度到ECI，但这些方式均需要对存量资源做一定的修改，无法做到零侵入。...
功能更新动态（2023年）
配置逻辑表上游依赖 配置离线管道调度依赖 配置离线任务调度依赖 基础运维 支持小时/分钟周期调度任务 未完成 告警配置。实时实例启动优化：支持实时实例停止时选择保留当前状态停止或无状态停止。支持实时任务或实时实例启动时选择无状态...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。节点伸缩（资源层弹性）：在集群的容量规划不能满足集群调度容量时，会扩容节点资源，进行调度容量的补充。两...
基本概念
调度器 调度器指集群上调度作业的软件。域账号 E-HPC支持创建NIS和LDAP两种域账号服务。NIS：网络信息服务（Network Information Service），是一种集中身份管理的方式。您可以在NIS服务器上建立用户，当新节点加入到NIS中时，便可以使用...
创建混合云集群
背景信息 本地HPC集群管控节点的环境要求如下：操作系统：CentOS 7.2、7.3、7.4、7.5、7.6、8.0 调度集群类型：custom、deadline、PBS 18.1.1、SGE（Open Grid Scheduler）说明 PBS和SGE集群仅支持操作系统CentOS 7.x。账号管理类型：...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-02-29 功能名称 变更类型 功能描述 相关文档 Java版本SDK v1.11.1 修复 Netty、Logback等...
常见问题
如果自定义镜像内的/etc/fstab 文件中，存在文件系统（如nfs）的挂载信息，那么需要确保扩容或创建的集群能够访问该文件系统，例如集群与文件系统在同一VPC内。否则，您需要删除/etc/fstab 文件中挂载文件系统的相关内容，再进行扩容或创建...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 EDAS控制台。在左侧导航栏，单击 任务调度。在顶部菜单栏选择地域。在左侧导航栏，...
使用插件部署混合云集群
本文介绍如何使用E-HPC插件部署混合云集群，该集群由本地调度器、本地域控和云上计算节点等组成。背景信息 混合云集群是E-HPC提供的一套用于云上计算资源和本地服务之间互通的集群结构，通常由本地调度器、本地域控、云上计算节点、共享...
Pod诊断
容器服务平台构建了基于专家经验的故障诊断系统，并基于海量数据训练了AI智能故障诊断模型。Pod诊断融合了基于专家经验和AI智能诊断两种诊断模式，进一步深入定位问题根因。Pod诊断包括诊断检查项和诊断根因。诊断检查项：包括Pod检查、...
- 产品推荐
- 这些文档可能帮助您