功能特性
调度 利用容器服务ACK调度器，实现Gang Scheduling、CPU拓扑感知、ECI弹性调度等高阶调度能力。利用分布式缓存ACK Fluid应对存算分离场景，提升访问效率和减少带宽占用。服务治理 支持通过阿里云服务网格ASM或者微服务引擎MSE管理K8s集群中...
快速入门
管理关联集群 GitOps 您可以在 ACK One 舰队中开启GitOps，通过Git repository对应用编排、Helm编排等实现版本管理，同时支持应用一次编排的多集群持续发布。GitOps快速入门 登录GitOps系统 仓库管理 使用GitOps管理集群 Application管理 ...
计算资源优化
包括HPA、VPA、CronHPA和Elastic-Workload等类型，例如HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度...
EventBridge事件调度
EventBridge事件调度包括云产品事件调度和自定义事件源事件调度。云产品事件调度支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源，而自定义事件源事件调度支持包括SLS、...
Dataphin的调度任务到了设置的调度时间状态还是等待中
解决方案 如果需要优先运行当前实例，可以调整任务优先级后执行强制重跑操作，优先运行当前实例 新版本中（v3.2及以上版本）将“等待中”状态拆分为了“等待调度时间”和“等待调度资源”，可以更直观区分等待原因 V3.5版本开始，支持查看...
DescribeCluster-查询单个集群信息
{\"pluginMod\":\"image\",\"pluginLocalPath\":\"/opt/plugin\"} SchedulerPreInstall integer 业务镜像是否已预安装调度器。可能值：true：已预安装，创建或扩容节点时无需执行安装调度器流程。false：未预安装，创建或扩容节点时需要...
定位及解决HSF问题
HSF错误码列表如下：错误编码：HSF-0001 错误编码：HSF-0002 错误编码：HSF-0003 错误编码：HSF-0005 错误编码：HSF-0006 错误编码：HSF-0007 错误编码：HSF-0008 错误编码：HSF-0009 错误编码：HSF-0012 错误编码：HSF-0013 错误编码：HSF...
集群调度
Spec定义 Workload 发布分布调度策略-WorkloadSpread 针对 POD workload patch.spec.affinity.*/.spec.topologySpreadConstraints[]/.spec.tolerations[]，主要可以解决全局通配调度能力而免去每个独立应用个别的配置，在 Helm Charts 情况...
为什么会空跑
周月调度任务补数据空跑解决方法：您可以按下图观察一下当天周期实例的定时时间和业务时间，如果任务为月调度任务定时每月1号调度，那补数据需要选择业务时间为月末，周任务同理。场景二：实时生成的过期实例 当使用 发布后及时生成实例 ...
调度任务
手动调度 不仅手动调度可以手动发起调度，周期调度、触发调度也支持手动发起调度。单击 手动调度，即可手动发起一次调度。查看执行结果 调度任务执行至少一次后，列表将显示最近一次执行的状态（执行成功/执行失败）。说明 若执行失败，可...
智能解析调度不准问题
解决方案 将非默认线路下的A和AAAA类型的解析记录加一层CNAME记录类型的解析记录，以域名 dns-example.top 为例：先将 test.dns-example.top 通过A和AAAA记录类型解析到IPv4和IPv6的地址，再将 中国移动 线路下的业务域名通过CNAME记录类型...
计费逻辑说明
公共调度资源组调度实例费 按量付费 所有DataWorks用户共享使用公共调度资源组资源，高峰期可能出现不同用户间抢占资源的情况，无法保证任务及时调度执行。详情请参见 公共调度资源组计费说明：按量付费。说明 开通DataWorks服务后默认可用...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
查看日志显示“will skip and set success”错误
解决方案 如果设置成空跑调度，改为正常调度，正确配置调度周期即可。若设置调度周期为月或是周，需要补月末或是周末的数据，因为产出是月末或周末，其余时间默认空跑。适用于 Dataphin 说明：本文适用于公共云v2.9.4-3版本周期调度模块。
产品计费
微服务平台 消息队列 持续交付 数据访问代理 任务调度 API 网关 实时监控 RMS 说明 RMS 不仅提供按量付费的付款方式，同时为您提供更灵活优惠的预付费资源包。更多信息，请参见 RMS 计费项概述。计费规则 微服务平台 微服务平台的计费维度...
调度参数
本文为您介绍调度参数的相关问题。调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间...
在ACK专有版集群中使用共享GPU调度
如您需要在 ACK专有版集群 中使用共享GPU调度基础版，请参见...基础版迁移专业版 安装共享GPU调度组件 运行共享GPU调度组件 使用共享GPU调度实现仅共享不隔离能力 使用共享GPU调度实现cGPU算力分配策略 解决专业版集群升级共享GPU调度失效问题
通过控制台提交作业
作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
节点伸缩概述
当集群的容量规划无法满足应用Pod调度时，您可以使用ACK提供的节点伸缩功能，自动扩缩节点资源以进行调度容量的补充。ACK目前提供 节点自动伸缩 与 节点即时弹性 两种弹性方案，后者相较于前者有着更快的弹性速度、更高的交付效率和更低的...
Fixed rate
Cron原生不支持无法被60整除的分钟间隔调度，例如每40分钟执行一次的任务。为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置...
如何指定标签
传统解决方案 传统解决方案下，往往会创建多个应用分组，例如为灰度机器专门配置一个Group ID。但这种解决方案具有以下局限性。正常的任务无法调度到灰度机器。灰度任务流量较小，专门创建用于处理灰度任务的机器会导致浪费资源。上线路径...
和开源产品对比
在分布式任务调度领域中，Quartz、ElasticJob和XXL-JOB是广受欢迎的开源解决方案。为了更深入地理解分布式任务调度技术并全面评估SchedulerX在此领域的优势与特点，本文将对比SchedulerX与这些主流开源产品的特性与功能。项目 Quartz ...
如何使单应用支持十万以上的定时任务
应用场景 常见应用场景是每个定时任务调度时间都不一样，无法通过MapReduce分布式任务解决（MapReduce分布式任务每个子任务调度时间是一致的）。物联网智能开关 智能开关可以设置定时开启、关闭，是由用户自定义设置的，所以每个开关的定时...
优雅下线
对于数据治理过程中的无效任务或表，数据治理中心为您提供完整的下线方案，包含下线风险评估、下线通知推送、下线过程管理等全流程功能，为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等...
场景：节点孤立
本文为您介绍什么是孤立节点，节点孤立的原因及解决方法。什么是孤立节点？孤立节点指节点在 周期任务 或 周期实例 处展开父节点时，没有依赖任何父节点，这类型节点在自动调度时不会被调起，所以孤立节点不会自动调度运行，如果该孤立节点...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
任务管理
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
解决方案 通过排查发现，周期任务从正常调度修改为空跑任务时间为当日23:00之后，所以空跑调度在第三天生效，第二天仍会按照正常调度来运行。如需第二天执行空跑调度，需要在当日23:00之前修改周期任务。适用于 Dataphin 说明：本文适用于...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
如何指定标签
传统解决方案 传统解决方案下，往往会创建多个应用分组，例如为灰度机器专门配置一个Group ID。但这种解决方案具有以下局限性。正常的任务无法调度到灰度机器。灰度任务流量较小，专门创建用于处理灰度任务的机器会导致浪费资源。上线路径...
如何指定标签
传统解决方案 传统解决方案下，往往会创建多个应用分组，例如为灰度机器专门配置一个Group ID。但这种解决方案具有以下局限性。正常的任务无法调度到灰度机器。灰度任务流量较小，专门创建用于处理灰度任务的机器会导致浪费资源。上线路径...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
ACK对接ECI
对接方式 ECI为Kubernetes提供一种层次化的解决方案：即ECI负责底层Pod容器资源的调度和管理工作，Kubernetes在ECI之上作为PaaS层来管理业务负载，例如管理Deployment、Service、StatefulSet、CronJob等。基于Kubernetes社区的Virtual ...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
Fixed rate
Cron原生不支持无法被60整除的分钟间隔调度，例如每40分钟执行一次的任务。为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置...
自建Kubernetes集群对接ECI
对接方式 ECI为Kubernetes提供一种层次化的解决方案：即ECI负责底层Pod容器资源的调度和管理工作，Kubernetes在ECI之上作为PaaS层来管理业务负载，例如管理Deployment、Service、StatefulSet、CronJob等。ECI在接管Pod容器底层基础设施的...
- 产品推荐
- 这些文档可能帮助您