kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
设置Pod故障处理策略
此时，Pod status.reason不会显示ContainerInstanceScheduleFailed，您也可以查看Pod status condition，通过ContainerInstanceCreated的reason和message确定当前调度周期内调度失败的原因。{"conditions":[{"lastProbeTime":"2023-03-30T...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
节点伸缩概述
Pod Disruption Budgets：可限制在同一时间因自愿干扰导致的多副本应用中发生宕机的Pod数量。节点即时弹性 支持根据Pod选择最优 装箱策略（Bin Packing）和 预绑定（PreBind）策略（自定义特性），可将调度碎片率优化30%。节点即时弹性 的...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
计算层高可用
同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
Group Identity功能说明
当Alibaba Cloud Linux 2内核版本是 4.19.91-25.1.al7~4.19.91-25.5.al7 时，Alibaba Cloud Linux 2使用Group Identity功能时会出现宕机现象。请先升级内核版本至 4.19.91-25.6.al7 或更高版本。具体操作，请参见 相关问题。当Alibaba ...
产品优势
高可用 采用高可用架构和任务多备份机制，经历阿里集团多年双十一、容灾演练，可以保障机房宕机时调度任务不受影响。安全防护 多层次安全防护：支持HTTPS和VPC访问，基于阿里云的多层安全防护，可有效防止恶意攻击。多租户隔离机制：支持多...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
智能监控概述
智能监控功能支持您...通过报警信息页面查看 您也可以通过报警信息页面查看智能监控模块产生的所有报警信息，并通过报警详情查看报警的完整触发流程，包括触发该报警的监控规则、报警触发条件、您收到报警的原因等。详情请参见：报警信息。
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新拉起。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
节点管理
它既可以是虚拟机，也可以是物理机，具体视业务而定。每个节点都包含运行 Pod 所需的基本组件，包括 Kubelet、Kube-proxy、容器运行时等。您可以通过容器应用服务控制台对节点进行管理。说明 本文仅适用于新版 ACK 集群场景，即在 AKS 集成...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
创建混合云集群
您可以利用本地的HPC集群在阿里云扩容计算节点资源，统一调度云上资源和您的本地资源进行高性能计算。本文介绍如何通过E-HPC管理控制台创建混合云集群。前提条件 已创建专有网络VPC和交换机。具体操作，请参见 创建专有网络 和 创建交换机...
专业版公测（2022年01月26日）
您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可将每次任务调度的框架日志和业务日志进行收集，同时SchedulerX 2.0的专业版提供了日志检索功能，可以通过任务调度平台快速定位任务失败的原因。更多信息，请参见 如何...
调度中心字段说明
创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称，标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。建议按照实际业务的带宽，估算 最大 支持多少实例...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
计费说明
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
专业版公测（2022年01月26日）
您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可将每次任务调度的框架日志和业务日志进行收集，同时SchedulerX 2.0的专业版提供了日志检索功能，可以通过任务调度平台快速定位任务失败的原因。更多信息，请参见 如何...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
调度依赖配置指引
DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引，避免因调度依赖配置...
调度中心
本文介绍调度中心功能的具体使用流程，帮助您快速掌握创建、查看及使用调度组。功能简介 调度中心功能可以帮助您实现对迁移任务的自动调度，支持将迁移任务加入调度组，并按照您自定义的调度规则自动执行迁移任务。通常，使用调度中心您...
虚拟交换机剩余IP状态感知调度
原生Kubernetes集群调度器对节点所属虚拟交换机是否有剩余IP不感知。在多个集群同时使用同一个虚拟交换机或多个节点同时使用同一个虚拟交换机时，可能出现Pod调度到节点上后由于虚拟交换机可用IP不足启动失败的情况。这种情况下，Pod控制器...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
时间属性配置说明
时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
调度设置
若您已熟悉DataWorks的调度配置，则可参考本章节了解更多调度相关的高阶功能；若您才开始使用DataWorks的调度配置，请先前往 任务调度配置概述，了解调度配置的基础功能。
各类型节点的调度参数配置示例
内置参数$1赋值取业务时间：$bizdate 自定义参数$2赋值取业务时间：${yyyymmdd} 自定义参数$3赋值取定时时间：$[yyyymmdd]配置及使用调度参数，详情请参见 配置并使用调度参数，更多调度参数的赋值方式，详情请参见 调度参数支持的格式。...
- 产品推荐
- 这些文档可能帮助您