产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
创建隐匿信息查询任务
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。数据查询方 有查询需求的...
应用场景
运力资源调度：机位智能分配、人员智能排班、车辆智能调度、船舶智能避碰、泊位智能分配、集卡车辆智能调度、龙门吊桥吊智能调度。案例说明 场景：某机场飞机滑行轨迹难以实现全链路追踪和还原；保障节点靠人工记录漏报误报情况普遍；安全...
应用管理
创建应用 在创建调度任务前，您需要先创建应用。步骤一：基本配置 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 应用管理。在 应用管理 页面，选择目标命名空间然后单击 创建应用。在 基本配置 向导页，输入 应用名...
场景：调度参数在数据集成的典型应用场景
示例：下图框中的字段值将通过调度参数每日替换情况来动态赋值。场景四：同步历史数据 基于调度参数可根据业务时间将参数自动替换为对应的值这一特性，当您创建任务当天需要将历史数据进行补齐时，您可使用补数据功能，补数据支持补历史...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
K8s任务
如下所示，获取SchedulerX任务参数值：优势 相较于K8s原生的Job功能，采用SchedulerX调度K8s Job具有以下显著优势：可在线编辑的脚本Pod K8s Job常用场景是用来做数据处理和运维，一般以脚本实现居多。原生的使用方式需要把脚本打包到镜像...
常见问题
移动调度中心高可用 Q：移动调度中心实现高可用的策略是什么？A：移动调度中心实现高可用的策略如下：移动调度中心已预先配置好自身域名和 IP，这样 App 可以拉取到 MDGC 自身的域名调度配置。移动调度中心已预先配置好域名和 IP 到公网 ...
CreateFile
每周二、周五的0点5分自动调度：00 05 00*2,5 由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
天任务依赖分钟任务最佳实践
数据同步节点用来同步每5分钟调度一次的MySQL数据至MaxCompute。ODPS SQL节点用来汇总MaxCompute接收的数据。单击工具栏中的 图标。配置作为分钟任务的离线同步节点。双击离线同步节点，进入该节点的编辑页面。选择 数据来源 和 数据去向。...
创建EMR Presto节点
开发SQL代码：使用调度参数 DataWorks提供 调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的格式。...
创建流量调度策略下队列的配置
您可以通过调用 ListCenInterRegionTrafficQosPolicies 接口查询流量调度策略的状态来确定队列的创建状态（查询时，需要传入 TrafficQosPolicyId 参数）：当流量调度策略处于 Modifying 状态时，表示队列正在创建中，在该状态下，您只能对...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
自定义弹性资源优先级调度
自定义弹性资源优先级调度是阿里云提供的弹性调度策略。您可以在应用发布或扩容过程中，自定义资源策略（ResourcePolicy），设置应用实例Pod被调度到不同类型节点资源的顺序。同时，在缩容过程中按照原调度顺序逆序缩容。重要 自调度器版本...
如何使用定时任务的灰度
方案二：一个任务通过自动调度和手动调度来进行灰度 如果您希望在灰度发布时，将定时任务在灰度机器上 运行一次 进行验证，则不用复制任务。您可继续使用之前的任务，在SchedulerX控制台手动 运行一次 指定Label。您也可以使用Jenkins等...
配置规则：按模板（批量）
手动关联调度，为单个或多个数据质量规则关联产出表数据的调度节点（运维中心中产出表数据的节点，包括自动调度的周期实例，手动触发的补数据实例，测试实例），当节点任务执行时便会触发该数据质量规则校验，您可以设置规则的强弱来控制...
接入 Android
移动调度中心在 10.1.68 及以上版本基线中提供支持。移动调度中心支持 原生 AAR 接入 和 组件化（Portal&Bundle）接入 两种接入方式。前置条件 若采用原生 AAR 方式接入，需先完成 将 mPaaS 添加到您的项目中 的前提条件和后续相关步骤。若...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-03-27 功能名称 变更类型 功能描述 相关文档 日志服务 优化 支持一次性任务执行完成、任务...
基本概念
您可以在NIS服务器上建立用户，当新节点加入到NIS中时，便可以使用NIS服务器中的用户来登录这个节点，而不需要在每个节点上都建立同样的用户。LDAP：轻型目录访问协议（Lightweight Directory Access Protocol），在E-HPC中，LDAP被用来对...
应用管理
创建应用 在创建调度任务前，您需要先创建应用。步骤一：基本配置 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 应用管理。在 应用管理 页面，选择目标命名空间然后单击 创建应用。在 基本配置 向导页，输入 应用名...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
多可用区同时快速弹性扩容
当业务压力增大时，有多可用区均衡调度策略的应用希望可以自动扩容出多个可用区的实例来满足集群的调度水位。本文介绍如何在多可用区实现快速弹性扩容。前提条件 已选择多个可用区，并在每个可用区创建好vSwtich，需要在哪些可用区弹出就...
多可用区同时快速弹性扩容
当业务压力增大时，有多可用区均衡调度策略的应用希望可以自动扩容出多个可用区的实例来满足集群的调度水位。本文介绍如何在多可用区实现快速弹性扩容。前提条件 已选择多个可用区，并在每个可用区创建好vSwtich，需要在哪些可用区弹出就...
如何使用定时任务的灰度
方案二：一个任务通过自动调度和手动调度来进行灰度 如果您希望在灰度发布时，将定时任务在灰度机器上 运行一次 进行验证，则不用复制任务。您可继续使用之前的任务，在SchedulerX控制台手动 运行一次 指定Label。您也可以使用Jenkins等...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
调度依赖配置指引
说明 调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换，进而实现任务查询与产出的表分区变更。基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务...
创建并使用PAI Designer
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
创建手动任务
说明 在任务高并发执行且无法错峰运行的情况下，需要专有的计算资源来保障任务定时被调度运行时，建议您选择购买使用DataWorks的独享调度资源组。详情请参见 独享调度资源组。调试运行手动业务 您可通过单个节点编辑页面工具栏中的 与 调试...
通过函数计算节点发送邮件
DataWorks提供的调度参数，可实现调度场景下代码动态传参。更多调度参数的配置，请参见 调度参数支持的格式。更多调度属性，请参见 任务调度属性配置概述。步骤三：提交并发布节点 函数计算节点需要提交发布至生产环境后，才会自动调度运行...
FTP Check节点
如果您的文件路径是动态变化的，则您可以在文件路径中使用调度参数来配置变量路径，详情请参见 调度参数概述。在 Check间隔（秒）中配置定时检测的时间间隔。在 Check停止策略 中配置停止检测的策略。Check停止时间：检测任务的到时时间点...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
配置调度规则
在容器服务K8s集群中创建或部署应用时，您可以根据实际需求修改应用实例的调度规则，将Pod实例尽可能部署在多个可用区和多个节点，来增强应用的可用性。本文介绍如何配置调度规则。在创建应用时配调度规则 登录 EDAS控制台，在左侧导航栏，...
- 产品推荐
- 这些文档可能帮助您