动态启动计算集群运行工作流调度
本文为您介绍如何通过EMR集群的模板功能为EMR Studio动态拉起计算集群来运行工作流，该计算集群会在调度完成后自动释放。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和8443端口。添加安全...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
CPU性能优化场景概述
ACK节点运行在弹性裸金属服务器／大规格ECS实例（32核以上）大数据负载,例如SparkJob 机器学习负载,例如TFJob,MPI CPU拓扑感知调度，使用CPU资源突发策略来提升性能 网卡中断的NUMA绑定 最大化利用碎片化CPU，提升CPU使用率。ACK节点运行在...
Spring任务
后续业务需要让SchedulerX任务调度平台来接管Spring定时任务的运行，则可以在 Properties 文件中添加如下配置。启用SchedulerX接管Spring定时任务 spring.schedulerx2.task.scheduling.scheduler=schedulerx 添加完成后，就可以通过下文中...
创建跨地域流量调度策略
如果您需要优化和控制跨区域的网络流量，您可以调用CreateCenInterRegionTrafficQosPolicy接口创建企业版转发路由器下的跨地域流量调度策略。接口说明 仅企业版转发路由器下的跨地域连接支持创建跨地域流量调度策略。流量调度功能仅作用在...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
节点伸缩概述
当集群的容量规划无法满足应用Pod调度时，您可以使用ACK提供的节点伸缩功能，自动扩缩节点资源以进行调度容量的补充。ACK目前提供 节点自动伸缩 与 节点即时弹性 两种弹性方案，后者相较于前者有着更快的弹性速度、更高的交付效率和更低的...
时间属性配置说明
时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
问题描述 周期任务从正常调度修改为空跑任务并发布后，周期实例第二天仍按照正常调度来运行，这是什么原因呢？问题原因 首先明确概念：正常调度指按照配置的调度周期和起调时间，并正常执行。空跑调度指按照调度周期的时间配置调度，但都是...
产品功能
SchedulerX主要提供调度、执行和运维三方面的功能。多种表达式的定时调度 Crontab：支持Unix Crontab表达式，详情请参见 Cron。不支持秒级别。Fixed rate：Crontab必须被60整除，不支持其它数量级时间间隔的任务，如每隔40分钟的定时任务。...
UpdateTaskFlowSchedule-更新任务流调度配置
调用UpdateTaskFlowSchedule接口，更新任务流调度配置。接口说明 该接口用于更新编辑态任务流的调度设置。可配置 定时调度、周期调度、事件调度；其中 定时调度可配置调度一次或周期调度，事件调度可配置的订阅包括任务流和任务流节点。...
API概览
本产品（分布式任务调度/2019-04-30）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
背景信息以及准备工作
在使用DLA对OSS中的历史数据按天进行清洗时，由于数据清洗的SQL是固定的，只是每次执行的时候需要传入不同的日期，因此我们可以通过DataWorks来循环调度DLA数据清洗任务。针对上述场景，我们需要在DataWorks中完成以下工作：部署一个赋值...
权限管理与规范化数据开发
调度参数 调度参数是DataWorks在调度场景下支持自动根据业务时间替换为具体值的参数，节点中使用调度参数后，在调度场景下，可以实现将对应业务时间的业务数据动态写入对应的时间分区中。详情请参见 调度参数支持的格式。依赖关系 调度依赖...
删除流量调度策略
调用DeleteCenInterRegionTrafficQosPolicy接口删除流量调度策略。接口说明 删除流量调度策略前，需要删除流量调度策略下除默认队列以外的所有队列。具体操作，请参见 DeleteCenInterRegionTrafficQosQueue。...
SetSchedulerInfo-设置调度器信息
为指定集群设置调度器配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
调度参数
当前实例重跑，会用最新的参数配置：即 time1=$cyctime 如果要看调度参数变更前的实例使用的调度参数替换情况，请在日志中查看，详情参考常见问题：如何在日志中查看调度参数替换情况 如何通过日志查看当前实例执行时调度参数替换情况？...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
步骤二：编写SQL分析语句
{bizDate}：SQL任务的调度时间点，实际执行任务时会被动态替换。格式为13位的毫秒级时间戳，例如1699286400000。取值范围是SQL任务 调度策略生效日期 内的时间。current_timestamp()：当前TIMESTAMP类型的时间戳。使用${bizDate} 的原因：...
QuerySchedruleOnDemand-查询代播实例的调度规则
查询代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
创建安全沙箱应用
根据节点上运行的Pod的标签（Label）来进行调度，支持硬约束和软约束，匹配的表达式有：In,NotIn,Exists,DoesNotExist。必须满足，即硬约束，一定要满足，对应 requiredDuringSchedulingIgnoredDuringExecution，Pod的亲和性调度必须要满足...
查询流量调度策略的信息
调用ListCenInterRegionTrafficQosPolicies接口查询流量调度策略的信息。接口说明 在调用 ListCenInterRegionTrafficQosPolicies 接口过程中：TransitRouterId 或 TrafficQosPolicyId 参数至少输入一个。如果您未输入流量调度策略 ID（即未...
RunServiceSchedule-执行设备服务调度
调用RunServiceSchedule根据客户ID&IP基本信息，为终端设备最优调度空闲资源（实例设备/容器POD），并完成虚拟设备环境的初始化。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
Java任务
Java调度任务可以在您的应用进程中执行。本文介绍如何管理Java类型的任务。执行模式 Java任务类型支持单机、广播、可视化MapReduce、MapReduce和分片运行模式：单机：在同一个 groupId 下的机器随机挑一台执行。广播：同一个 groupId 下的...
DeleteSchedulerRule-删除流量调度器调度规则
删除流量调度器调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
查询弹性供应组的调度任务信息
调用DescribeAutoProvisioningGroupHistory查询弹性供应组的调度任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
整库离线同步至OSS
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。配置数据同步的调度周期。由于需要进行周期性调度，所以需要在此定义周期性调度任务时的相关属性，包括 调度周期、...
数据开发
层级管理：用于对表的物理层级进行设计，用来定义和管理数据仓库分层。本实验中参考数据建模的分层划域，新建“ODS数据引入层、DIM维度层、DWD明细数据层、DWS汇总数据层、ADS应用数据层”。主题管理：按照分析视角对表进行划分。本实验中...
查询流量调度策略队列的信息
调用ListCenInterRegionTrafficQosQueues接口查询流量调度策略队列的信息。接口说明 调用接口时请确保 TransitRouterId 或 TrafficQosPolicyId 或 TrafficQosQueueId 参数至少输入一个。调用接口时请确保输入的参数值无误。如果您输入的...
ModifySchedulerRule-编辑流量调度器调度规则
编辑流量调度器调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
CreateSchedulerRule-创建流量调度器调度规则
创建流量调度器调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
DescribeSchedulerRules-查询流量调度器的调度规则
查询流量调度器的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
创建有状态工作负载StatefulSet
初始化容器可以包括一些应用镜像中不存在的实用工具和安装脚本，用来初始化应用容器的运行环境，例如设置内核参数、生成配置文件。更多信息，请参见 Init Containers。可选：在 端口设置 区域，单击 新增 设置容器的端口。参数 描述 名称 ...
DescribeServcieSchedule-查询终端客户调度信息
调用DescribeServcieSchedule查询Uuid正在占用的（调度中）实例设备或容器实时状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是...
ListTaskFlowsByPage-分页获取任务流详情列表
取值如下：2:小时级调度 3:日级调度 4:周级调度 5:月级调度 2 CronBeginDate string 定时调度开始时间，此时间点之前任务流不进行调度。1970-01-01 CronEndDate string 定时调度结束时间，此时间点之后任务流不进行调度。2023-01-01 ...
集群任务限流
为避免负载过重，控制数据消费的速率，集群任务提供了动态和静态两种流控能力。限流原理 如上图所示，一个 Chunk（分片）的执行分为如下三个阶段，这三个阶段构建成一个循环。Read 阶段 Reader 读取一批数据，读取数据接口返回数据列表和...
GetSchedulerInfo-查询指定集群的调度器配置
调用GetSchedulerInfo查询指定集群的调度信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
Spring任务
后续业务需要让SchedulerX任务调度平台来接管Spring定时任务的运行，则可以在 Properties 文件中添加如下配置。启用SchedulerX接管Spring定时任务 spring.schedulerx2.task.scheduling.scheduler=schedulerx 添加完成后，就可以通过下文中...
SwitchSchedulerRule-切换调度规则
接口说明 本接口用于修改单个流量调度规则的当前生效资源，例如，将业务流量切换到 DDoS 高防实例进行清洗、回切到联动资源。调用本接口前，您必须已经调用 CreateSchedulerRule 创建了流量调度规则。QPS 限制 本接口的单用户 QPS 限制为 ...
- 产品推荐
- 这些文档可能帮助您