kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
设置Pod故障处理策略
此时，Pod status.reason不会显示ContainerInstanceScheduleFailed，您也可以查看Pod status condition，通过ContainerInstanceCreated的reason和message确定当前调度周期内调度失败的原因。{"conditions":[{"lastProbeTime":"2023-03-30T...
Dataphin补数据任务空跑调度了是什么原因
问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每...
节点伸缩概述
Pod Disruption Budgets：可限制在同一时间因自愿干扰导致的多副本应用中发生宕机的Pod数量。节点即时弹性 支持根据Pod选择最优 装箱策略（Bin Packing）和 预绑定（PreBind）策略（自定义特性），可将调度碎片率优化30%。节点即时弹性 的...
智能监控概述
智能监控功能支持您...通过报警信息页面查看 您也可以通过报警信息页面查看智能监控模块产生的所有报警信息，并通过报警详情查看报警的完整触发流程，包括触发该报警的监控规则、报警触发条件、您收到报警的原因等。详情请参见：报警信息。
计算层高可用
同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别...
Group Identity功能说明
当Alibaba Cloud Linux 2内核版本是 4.19.91-25.1.al7~4.19.91-25.5.al7 时，Alibaba Cloud Linux 2使用Group Identity功能时会出现宕机现象。请先升级内核版本至 4.19.91-25.6.al7 或更高版本。具体操作，请参见 相关问题。当Alibaba ...
产品优势
高可用 采用高可用架构和任务多备份机制，经历阿里集团多年双十一、容灾演练，可以保障机房宕机时调度任务不受影响。安全防护 多层次安全防护：支持HTTPS和VPC访问，基于阿里云的多层安全防护，可有效防止恶意攻击。多租户隔离机制：支持多...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
什么是SCDN
多级调度：支持多级的调度策略，节点故障不会造成用户服务不可用。多系统联动：和阿里云其他产品形成多系统联动，与安全防御系统、刷新系统、内容管理系统等协调工作，达到各模块的最优性能。流量预测：数据化实时调度，支持节点级别流量...
使用负载热点打散重调度
可观测性策略 您可以通过Event观测重调度的迁移过程，并在详细信息中查看迁移的具体原因和当前状态。样例如下。kubectl get event|grep stress-demo-588f9646cf-7*55s Normal Evicting podmigrationjob/3bf8f623-4d10-4fc5-ab4e-2bead3c4*...
创建混合云集群
调度器 本地集群的调度器类型。调度器节点IP 本地集群中部署了调度器的节点的IP地址。调度器节点主机名 本地集群中部署了调度器的节点的主机名称。账号系统 本地集群中域账号服务的类型。本地集群域名 本地集群的域名。账号节点IP 本地集群...
计费概述
任务托管总量：所有应用的任务托管总量之和，且和调度任务每天的调度次数无关。产品版本对比 SchedulerX目前支持基础版和专业版两个版本，各版本所支持的功能如下：说明 表示支持，表示不支持。功能 基础版 专业版 基础调度能力 日志服务 ...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
创建有状态工作负载StatefulSet
外部流量策略 Local：流量只发给本机的Pod。Cluster：流量可以转发到其他节点上的Pod。说明 仅当您的服务类型为 节点端口 或 负载均衡 时，才能设置 外部流量策略。注解 为该服务添加一个注解（Annotation），配置负载均衡的参数。例如设置...
调度中心字段说明
创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称，标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。建议按照实际业务的带宽，估算 最大 支持多少实例...
调度依赖配置指引
DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引，避免因调度依赖配置...
调度中心
2.从创建SMC迁移任务将任务加入调度组（创建SMC迁移任务）在 创建SMC迁移任务 时，是否加入分组调度，选择是，系统会为您列出所有状态为开启的调度组，选择您需要的调度组，点击 提交 即可。3.从DTS迁移将任务加入调度组（创建DTS任务迁移...
配置调度日历
背景信息 自定义调度日历适用于有灵活调度日期需求的行业及场景，例如：金融行业，任务运行需避开金融行业的休市时间（法定假日、周末）时，您就可以年度自定义一个本年的调度日历，便于后续任务开发时可直接选择任务需调度的时间，避开...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
时间属性配置说明
DataWorks支持的调度类型如下：重要 任务调度频率与上游任务周期无关 任务多久调度一次与任务本身定义的调度周期有关，与上游任务调度周期无关。DataWorks支持不同调度周期的任务互相依赖 DataWorks中，调度任务会根据调度类型及周期数生成...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
调度设置
若您已熟悉DataWorks的调度配置，则可参考本章节了解更多调度相关的高阶功能；若您才开始使用DataWorks的调度配置，请先前往 任务调度配置概述，了解调度配置的基础功能。
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
离线任务调度属性配置
跟随调度属性：与调度属性中的调度策略一致,等同于关闭条件调度时的调度设置。调度类型：配置说明，请参见上文 调度类型。起调日期：调度类型为正常调度时，需配置起调时间，即为调度任务的开始运行的时间。单击 确定。完成条件调度设置后...
离线任务调度属性配置
跟随调度属性：与调度属性中的调度策略一致,等同于关闭条件调度时的调度设置。调度类型：配置说明，请参见上文 调度类型。起调日期：调度类型为正常调度时，需配置起调时间，即为调度任务的开始运行的时间。单击 确定。完成条件调度设置后...
配置任务调度
本文以配置任务write_result的调度周期为周调度为例，为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...
各类型节点的调度参数配置示例
通用Shell节点、PyODPS节点的调度参数使用存在部分差异。本文为您介绍各类型节点的调度参数配置示例。SQL类型节点及离线同步节点 SQL类型节点及离线同步节点的调度参数配置与多数类型节点的配置相似，可供多数节点参考使用。本文以ODPS SQL...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
- 产品推荐
- 这些文档可能帮助您