在Kubernetes集群中部署SchedulerX
报警监控 使用SchedulerX来调度Pod或者Job，可以复用SchedulerX的监控报警功能。支持的报警通道：短信、电话、邮件、Webhook（钉钉/企业微信/飞书）。支持的报警策略：失败报警、执行超时报警。日志服务 使用SchedulerX调度Pod或者Job时，...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
问题描述 周期任务从正常调度修改为空跑任务并发布后，周期实例第二天仍按照正常调度来运行，这是什么原因呢？问题原因 首先明确概念：正常调度指按照配置的调度周期和起调时间，并正常执行。空跑调度指按照调度周期的时间配置调度，但都是...
背景信息以及准备工作
在使用DLA对OSS中的历史数据按天进行清洗时，由于数据清洗的SQL是固定的，只是每次执行的时候需要传入不同的日期，因此我们可以通过DataWorks来循环调度DLA数据清洗任务。针对上述场景，我们需要在DataWorks中完成以下工作：部署一个赋值...
UpdateTaskFlowSchedule-更新任务流调度配置
调用UpdateTaskFlowSchedule接口，更新任务流调度配置。接口说明 该接口用于更新编辑态任务流的调度设置。可配置 定时调度、周期调度、事件调度；其中 定时调度可配置调度一次或周期调度，事件调度可配置的订阅包括任务流和任务流节点。...
API概览
本产品（分布式任务调度/2019-04-30）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
删除流量调度策略
调用DeleteCenInterRegionTrafficQosPolicy接口删除流量调度策略。接口说明 删除流量调度策略前，需要删除流量调度策略下除默认队列以外的所有队列。具体操作，请参见 DeleteCenInterRegionTrafficQosQueue。...
健康检查及自动恢复
一旦检测到节点异常（往往是内存超限、进程异常退出等异常场景）将会进入自动恢复过程，master会通过检查每个work节点资源限制情况来动态调度恢复的目标，可能出现2种调度场景：1）在原work节点重启 2）跨work节点重启。注：由于这种健康...
SetSchedulerInfo-设置调度器信息
为指定集群设置调度器配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
QuerySchedruleOnDemand-查询代播实例的调度规则
查询代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
调度参数
当前实例重跑，会用最新的参数配置：即 time1=$cyctime 如果要看调度参数变更前的实例使用的调度参数替换情况，请在日志中查看，详情参考常见问题：如何在日志中查看调度参数替换情况 如何通过日志查看当前实例执行时调度参数替换情况？...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
查询流量调度策略的信息
调用ListCenInterRegionTrafficQosPolicies接口查询流量调度策略的信息。接口说明 在调用 ListCenInterRegionTrafficQosPolicies 接口过程中：TransitRouterId 或 TrafficQosPolicyId 参数至少输入一个。如果您未输入流量调度策略 ID（即未...
RunServiceSchedule-执行设备服务调度
调用RunServiceSchedule根据客户ID&IP基本信息，为终端设备最优调度空闲资源（实例设备/容器POD），并完成虚拟设备环境的初始化。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
DeleteSchedulerRule-删除流量调度器调度规则
删除流量调度器调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
查询弹性供应组的调度任务信息
调用DescribeAutoProvisioningGroupHistory查询弹性供应组的调度任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
任务管理
同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列第一个位置上的任务来执行。优先级分配 AliOS Things操作系统内核允许的...
整库离线同步至OSS
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。配置数据同步的调度周期。由于需要进行周期性调度，所以需要在此定义周期性调度任务时的相关属性，包括 调度周期、...
查询流量调度策略队列的信息
调用ListCenInterRegionTrafficQosQueues接口查询流量调度策略队列的信息。接口说明 调用接口时请确保 TransitRouterId 或 TrafficQosPolicyId 或 TrafficQosQueueId 参数至少输入一个。调用接口时请确保输入的参数值无误。如果您输入的...
ModifySchedulerRule-编辑流量调度器调度规则
编辑流量调度器调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
CreateSchedulerRule-创建流量调度器调度规则
创建流量调度器调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
DescribeSchedulerRules-查询流量调度器的调度规则
查询流量调度器的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
数据开发
层级管理：用于对表的物理层级进行设计，用来定义和管理数据仓库分层。本实验中参考数据建模的分层划域，新建“ODS数据引入层、DIM维度层、DWD明细数据层、DWS汇总数据层、ADS应用数据层”。主题管理：按照分析视角对表进行划分。本实验中...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
DescribeServcieSchedule-查询终端客户调度信息
调用DescribeServcieSchedule查询Uuid正在占用的（调度中）实例设备或容器实时状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是...
Spring任务
后续业务需要让SchedulerX任务调度平台来接管Spring定时任务的运行，则可以在 Properties 文件中添加如下配置。启用SchedulerX接管Spring定时任务 spring.schedulerx2.task.scheduling.scheduler=schedulerx 添加完成后，就可以通过下文中...
GetSchedulerInfo-查询指定集群的调度器配置
调用GetSchedulerInfo查询指定集群的调度信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
ListTaskFlowsByPage-分页获取任务流详情列表
取值如下：2:小时级调度 3:日级调度 4:周级调度 5:月级调度 2 CronBeginDate string 定时调度开始时间，此时间点之前任务流不进行调度。1970-01-01 CronEndDate string 定时调度结束时间，此时间点之后任务流不进行调度。2023-01-01 ...
SwitchSchedulerRule-切换调度规则
接口说明 本接口用于修改单个流量调度规则的当前生效资源，例如，将业务流量切换到 DDoS 高防实例进行清洗、回切到联动资源。调用本接口前，您必须已经调用 CreateSchedulerRule 创建了流量调度规则。QPS 限制 本接口的单用户 QPS 限制为 ...
进程监控
在 进程监控 页面，您可以查看拉取进程和写入进程的监控信息，并针对不同状态下的进程进行不同操作。查看进程监控数据 拉取进程监控 在 拉取进程监控 页签下，默认展示所有拉取进程列表及其监控数据。您可以通过切换地域类型，选择数据库...
DescribePropertyProcDetail-查询进程资产的资产指纹
查询服务器的进程资产的资产指纹信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
如何使用定时任务的灰度
方案二：一个任务通过自动调度和手动调度来进行灰度 如果您希望在灰度发布时，将定时任务在灰度机器上 运行一次 进行验证，则不用复制任务。您可继续使用之前的任务，在SchedulerX控制台手动 运行一次 指定Label。您也可以使用Jenkins等...
修改流量调度策略的名称和描述信息
调用UpdateCenInterRegionTrafficQosPolicyAttribute接口修改流量调度策略的名称和描述信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息...
调度DLA Spark任务
DLA Serverless Spark目前支持DataWorks和DMS编排调度任务，同时也提供自定义SDK和Spark-Submit工具包供用户自定义编排调度。本文将介绍如何使用DMS来编排调度Spark任务。前提条件 您已开通DMS服务。您已开通云原生数据湖分析服务，详情请...
在Kubernetes集群中部署SchedulerX
报警监控 使用SchedulerX来调度Pod或者Job，可以复用SchedulerX的监控报警功能。支持的报警通道：短信、电话、邮件、Webhook（钉钉/企业微信/飞书）。支持的报警策略：失败报警、执行超时报警。日志服务 使用SchedulerX调度Pod或者Job时，...
在Kubernetes集群中部署SchedulerX
报警监控 使用SchedulerX来调度Pod或者Job，可以复用SchedulerX的监控报警功能。支持的报警通道：短信、电话、邮件、Webhook（钉钉/企业微信/飞书）。支持的报警策略：失败报警、执行超时报警。日志服务 使用SchedulerX调度Pod或者Job时，...
使用公共资源组
开通DataWorks时，DataWorks自动为您提供公共资源组（包括公共调度资源组、公共数据集成（调试）资源组、公共数据服务资源组），可用于数据开发、运行测试等操作。公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为...
脚本任务
名称 参数 调度时间#{schedule.timestamp} 数据时间#{data.timestamp} 自定义参数的Shell任务示例 通过任务参数来配置自定义参数，通过空格分隔，第一个参数通过$0渲染，第二个参数通过$1渲染，依此类推。创建带参数的Python任务 创建带...
- 产品推荐
- 这些文档可能帮助您