离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
创建EMR Hive节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建EMR Impala节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建EMR Spark SQL节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
Dataphin资产质量调度日志中调度执行的分区为什么和...
详细信息 Dataphin资产质量调度日志中调度执行的分区为什么和手动执行分区不一致？原因如下：代码检查触发是基于代码中的分区日期来触发的。手动执行是按照执行时间来触发的。如果分区表达式为 bizdate=${yyyyMMdd} 那么调度会识别为T-1的...
为什么会空跑
场景一：周月实例空跑周期 场景二：实时生成的过期实例 场景三：设置成功实例 场景四：实例属性为空跑 场景五：临时工作流中未被选择的实例 日调度任务空跑排查方法 什么是空跑？空跑的实例任务状态显示成功（正常调度），运行日志为空，无...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
问题描述 周期任务从正常调度修改为空跑任务并发布后，周期实例第二天仍按照正常调度来运行，这是什么原因呢？问题原因 首先明确概念：正常调度指按照配置的调度周期和起调时间，并正常执行。空跑调度指按照调度周期的时间配置调度，但都是...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
订阅常见问题
邮件订阅时调度状态提示发送周期已设置完成，但是为什么没有收到订阅邮件？调度状态指是否会在周期内执行发送任务，未调度在周期内不会发送邮件。调度状态会按照设置的时间定时发送邮件，调度状态下会出现邮件发送成功或者失败的现象。邮件...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
定期调度Zeppelin中的作业
状态 描述 scheduled 已开始调度 skipped 跳过本次调度 upstream_failed 上游任务失败 up_for_reschedule 已重新调度 up_for_retry 重试 failed 调度失败 success 调度成功 running 调度正在运行中 queued 加入调度队列 no_status 没有状态...
常见问题
为什么实例停止之后还会执行？如何进行任务管理高级配置？机器繁忙（all workers are busy）该怎么办？任务常见问题 如何接入链路追踪？任务常见问题 应用发布过程，任务执行卡住或变慢 单击运行一次后，系统提示输入实例参数，如何处理？...
索引
如何进行秒级别调度？某个时间点没有调度怎么办？SchedulerX如何设置超时时间？为什么实例停止之后还会执行？如何进行任务管理高级配置？机器繁忙该怎么办？任务执行失败，且没有错误信息 如何接入链路追踪？如何设置一次性任务？应用发布...
动态启动计算集群运行工作流调度
在 DAGs 页面，打开待启用DAG脚本所在行的 off 开关，即可启用DAG调度。说明 上传Airflow DAG脚本至OSS后，在DAGs页面并不能立刻看到上传的DAG，大约需要1~2分钟，请您耐心等待。查看DAG运行状态。在 DAGs 页面，单击待查看调度任务的DAG。...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
时间属性配置说明
时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...
设置调度依赖最佳实践
配置调度依赖时，需要根据本节点输出名称作为关联项来给任务间设置依赖关系。本文将为您介绍如何配置任务调度依赖的输入输出。配置任务的本节点输入 您可以通过以下两种方式配置本节点输入：使用代码自动解析功能，解析出任务的依赖。手动...
调度DLA Spark任务
DLA Serverless Spark除了上述调度集成之外，还提供了SDK以及Spark-Submit工具用于提交Spark作业、查询作业状态、获取作业日志等功能，详情请参见：SDK安装与使用 Spark-Submit命令行工具 您可以利用上述工具，使用第三方任务编排调度系统...
XxlJob任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，您不需要修改一行代码，即可将XXL-JOB任务在SchedulerX 2.0平台上托管。采用托管的XXL-JOB有以下优势：免运维、低成本 自建XXL-JOB最少需要2个服务器和1个数据库支撑，而...
DMS调度Spark
使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过 数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS...
专业版公测（2022年01月26日）
使用SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可将每次任务调度的框架日志和业务日志进行收集，同时SchedulerX 2.0的专业版提供了日志检索功能，可以通过任务调度平台快速定位任务失败的...
服务定时自动部署
使用方案二部署EAS服务 购买DataWorks 独享调度资源组，详情请参见 新增和使用独享调度资源组。购买PAI，详情请参见 开通并创建默认工作空间。完成定时训练，并将模型保存至固定地址，详情请参见 使用DataWorks离线调度Designer工作流。...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
DataWorks On CDP/CDH使用说明
数据开发：您无需接触复杂的命令行，便可在DataWorks中实现各类任务的开发及周期性调度。创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 您可结合DataWorks的通用类型节点和引擎计算节点进行...
DataWorks On MaxCompute使用说明
数据开发：您无需接触复杂的命令行，便可在DataWorks中实现各类任务的开发及周期性调度。节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发...
DataWorks On Hologres使用说明
数据开发：您无需接触复杂的命令行，便可在DataWorks中实现各类任务的开发及周期性调度。节点代码定义：Hologres开发指南 Hologres SQL节点 一键MaxCompute表结构同步节点 一键MaxCompute数据同步节点 您可结合DataWorks的通用类型节点和...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring Schedule，K8s Job，支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
表结构配置管理
查看调度任务 对于已设置调度任务的表结构配置，选择>查看调度任务，可以查看其所属调度任务的执行记录，如下图所示。单击 图标，可展开该表的执行情况。调度相关说明，请参见 调度任务。移除表结构配置 单击 移除，确认移除后，将移除该表...
任务未运行
正常调度任务运行需要有多个条件：调度资源、定时时间、上游节点运行状态、调度属性为正常调度（未被冻结）。序号 状态类型 状态标识 运行流程图 1 运行成功状态 2 未运行状态 3 运行失败状态 4 正在运行状态 5 等待状态 6 暂停/冻结状态 ...
Data Lake Analytics节点
背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics，详情请参见 什么是Data Lake Analytics。重要 Data Lake Analytics节点仅支持使用独享调度资源组执行任务，详情请参见 新增和使用独享调度资源组。操作步骤 进入 ...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
调度管理
调度管理支持您根据业务需要，对已经部署且激活的游戏进行并发数配置、调度等级设置，满足不同场景下的调度需求。管理已部署游戏 点击【管理】，进入已部署游戏调度管理界面 说明 游戏调度不同项目之间是互相隔离的。游戏调度只按照实例...
DDoS高防和CDN或DCDN联动
通过流量调度器的智能调度，业务正常访问期间，流量不经过DDoS高防清洗就近使用加速产品的节点加速，仅在业务被攻击时流量切换到DDoS高防进行清洗，由高防将清洁流量直接转发给源站，保证业务平稳运行。本文介绍如何配置DDoS高防和加速产品...
计算资源使用
作业Settings 请输入作业Settings中的Key Value，格式为 Key=Value，如通过DataWorks调度发起的补数据作业SKYNET_DAGTYPE=3，多个参数为与（and）关系，请换行分隔，最多可输入5个。单击 确定。应用示例 查询加速作业调度 加速Quota和回退...
数据质量风险监控
关联调度后，每次调度任务运行完毕，都会触发数据质量的校验。数据质量支持设置规则订阅，可以针对重要的表及其规则设置订阅，设置订阅后会根据数据质量的校验结果进行告警，从而实现对校验结果的跟踪。单击 订阅管理，设置接收人以及订阅...
数据质量风险监控
关联调度后，每次调度任务运行完毕，都会触发数据质量的校验。数据质量支持设置规则订阅，可以针对重要的表及其规则设置订阅，设置订阅后会根据数据质量的校验结果进行告警，从而实现对校验结果的跟踪。单击 订阅管理，设置接收人以及订阅...
- 产品推荐
- 这些文档可能帮助您