CreateFile
多个参数之间用空格进行分割。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>参数”对应。您可以参考 调度参数 配置。StartEffectDate Long 否 1671608450000 开始自动调度的毫秒时间戳。该参数与 DataWorks控制台 中，数据开发...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
工作原理
之后算法模型会动态适配输入的数据，进行持续更新。场景二：修改调度配置对生成实例的影响。修改调度配置后，下一个实例按照新配置生成。算法模型会记忆当前消费的时间位置，进而对新来的数据继续分析。场景三：重试失败的实例。如果实例...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
配置调度规则
在容器服务K8s集群中创建或部署应用时，您可以根据实际需求修改应用实例的调度规则，将Pod实例尽可能部署在多个可用区和多个节点，来增强应用的可用性。本文介绍如何配置调度规则。在创建应用时配调度规则 登录 EDAS控制台，在左侧导航栏，...
使用负载感知调度
重要 ACK调度器在1.22版本将持续保持对旧版本协议的兼容，在1.24版本的兼容期限截止至2023年08月30日。建议您升级集群版本，并使用新版本的负载感知调度功能配置方式。关于集群升级，请参见 手动升级集群。各版本协议的支持情况和组件版本...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
节点伸缩概述
节点池配置维护：节点即时弹性 能够根据实例属性在多规格和多可用区中自动选择实例，容纳等待调度的Pod。但在 节点自动伸缩 模式下，您需要自行维护节点池各项配置，以保证Pod的正常调度。因此，当Pods配置发生变更时，往往意味着对应节点...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
实现ECI Pod可用区打散以及亲和调度
在 ACK集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。前提条件 已创建 ...
实现ECI Pod可用区打散以及亲和调度
在 ACK集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。前提条件 已创建 ...
实现虚拟节点Pod可用区打散以及亲和调度
在 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
运维中心入门
本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，为您介绍运维中心模块的基本使用。前提条件 根据 数据开发：开发者 文档创建 ...
天任务依赖分钟任务最佳实践
在 基础属性 页签，为过滤条件中的参数赋值：startTime=[yyyymmddhh24miss−5/24/60]endTime=[yyyymmddhh24miss]，每个参数间用空格分隔。在 时间属性 页签，设置 调度周期 为 分钟，开始时间 为 00:00，每间隔5分钟调度一次。为保证一天的...
如何将任务调度应用优雅下线
背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为避免该情况，SchedulerX实现了定时任务...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
创建跨地域流量调度策略
如果您需要优化和控制跨区域的网络流量，您可以调用CreateCenInterRegionTrafficQosPolicy接口创建企业版转发路由器下的跨地域流量调度策略。接口说明 仅企业版转发路由器下的跨地域连接支持创建跨地域流量调度策略。流量调度功能仅作用在...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
多终端节点组流量调配原理及应用场景
为保证应用能持续稳定的对外提供服务，要求北京或上海其中任意一个地域的应用出现异常时，可将异常地域的访问流量自动切换至另一个运行正常的地域。您可以分别为北京和上海地域的终端节点组开启健康检查，当上海地域终端节点组健康检查出现...
kube-scheduler组件监控
Unschedulable队列中Pod的数量持续增加。Unschedulable队列中Pod的数量在其他Pod完成后未出现减少。当前集群中Pod的资源请求不合理，或节点资源配置不足。查看节点资源是否满足Pod需求。查看Pod是否设置了无法满足的节点亲和属性。成功调度...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
RDS增量数据同步至MaxCompute
背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生变化）。根据幂等性原则（一个任务多次运行的结果一致，则该任务支持重跑调度。如果该任务出现...
基础监控
混部资源总量越大，说明集群中可供应用混部的空闲物理资源越多，通过在离线混部调度更多应用的潜在收益越大。混部资源分配量 分为CPU和内存两个资源维度，分别展示了集群当前为应用混部已分配的CPU资源量和内存资源量。如上图所示，集群...
使用GPU拓扑感知调度（Tensorflow版）
arena logs-f tensorflow-4-resnet50 预期输出：total images/sec:745.38 性能对比 基于以上4个测试用例性能对比结果如下：基于对比图，可知经过GPU拓扑感知调度后，TensorFlow分布式训练的效果有了很大的提升。重要 本文提供的性能数据仅...
任务管理
基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
同时部署DDoS原生防护企业版和DDoS高防（中国内地）
您可以同时部署DDoS原生防护企业版和DDoS高防（中国内地），通过DDoS高防流量调度器的阶梯防护联动规则，保证正常业务流畅体验的前提下增强DDoS防护能力。本文介绍了同时部署DDoS原生防护企业版和DDoS高防（中国内地）的配置方法。背景信息...
如何使用定时任务的灰度
您也可以使用Jenkins等持续集成软件，将手动运行一次实现自动化，如下图所示：用户侧节点如何配置label 程序启动时设置 应用程序启动时，可以通过Properties设置Label，以Springboot工程为例。spring.schedulerx2.label=${label} 容器服务...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文介绍如何创建秒级调度任务并将设置固定延迟。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java...
Cron
6#3 每月的第三个周五10:15触发 Cron定时调度配置示例 在创建调度任务时可以使用Cron定时调度，创建调度任务的详细操作步骤请参见 创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入 定时配置 页签，详情请参见 创建...
Fixed rate
Cron原生不支持无法被60整除的分钟间隔调度，例如每40分钟执行一次的任务。为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
常见问题
移动调度中心高可用 Q：移动调度中心实现高可用的策略是什么？A：移动调度中心实现高可用的策略如下：移动调度中心已预先配置好自身域名和 IP，这样 App 可以拉取到 MDGC 自身的域名调度配置。移动调度中心已预先配置好域名和 IP 到公网 ...
资源包（专业版）
抵扣示例 如果购买了30万CU/月的资源包，当月实际使用35万CU（例如前28天每天使用1万CU，第29天使用了3万CU，第30天使用了4万CU），则从第29天开始实际使用量已经超出了资源包额度，超出的1万CU将按照按量付费方式进行计费，第30天使用的4...
API调度
您可以使用API触发任务调度。关于API触发的使用方式，请参见 服务接入点。
Second delay
Second delay支持1~60秒间隔的秒级延迟调度，即每次任务执行完成后，间隔秒级时间再次触发调度。Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。...
- 产品推荐
- 这些文档可能帮助您