调度设置

若您已熟悉DataWorks的调度配置,则可参考本章节了解更多调度相关的高阶功能;若您才开始使用DataWorks的调度配置,请先前往 任务调度配置概述,了解调度配置的基础功能。

各类型节点的调度参数配置示例

内置参数$1赋值取业务时间:$bizdate 自定义参数$2赋值取业务时间:${yyyymmdd} 自定义参数$3赋值取定时时间:$[yyyymmdd]配置及使用调度参数,详情请参见 配置并使用调度参数,更多调度参数的赋值方式,详情请参见 调度参数支持的格式。...

任务调度属性配置概述

若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发,不同类型的引擎任务在DataWorks上被封装为不同...

离线集成任务属性配置概述

对于离线集成任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...

离线任务属性配置概述

对于离线任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...

离线集成任务属性配置概述

对于离线集成任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...

离线任务属性配置概述

对于离线任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...

配置任务调度

本文以配置任务write_result的调度周期为周调度为例,为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点(start)和ODPS SQL节点(insert_data,详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...

离线任务调度属性配置

调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页,单击顶部菜单栏的 研发。按照下图操作指引,进入离线集成...

离线任务调度属性配置

调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页,单击顶部菜单栏的 研发。按照下图操作指引,进入离线集成...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...

任务管理

本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前,请确保您已经创建了任务分组。更多信息,请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏,选择 任务管理。在 任务...

调度参数返回值二次处理的典型场景

调度参数只支持获取时间类型数据,部分节点(例如,离线同步节点)配置了调度参数后,调度参数的返回值不能直接使用,需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...

配置基础属性

您可以在调度配置对话框查看调度节点的名称、ID、类型,并配置责任人、描述等基本信息。本文为您介绍调度节点基础属性的参数配置。进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 基础属性 区域配置调度节点的基本信息。参数 ...

逻辑表调度配置概述

对于逻辑表任务,您需定义任务的调度相关属性,包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 在Dataphin首页,单击顶部菜单栏的 研发,默认进入数据 开发 页面。按照下图操作指引,进入...

应用视图

在页面左上角,地图属性设置 区域,选择需要查看的进程。应用资源视图中将显示选中进程的信息,隐藏未选中的进程。在拓扑图中,将鼠标悬浮于某个图标上,将突出显示与之有网络连接的其他进程。为帮助您更容易找到目标进程,AHAS将进程分为...

场景:夏令时切换对调度任务运行的影响

本文为您介绍在进入和退出夏令时的时候,对调度任务实例生成和定时时间的影响。若您的工作空间所在地域施行夏令时,您可通过本文了解DataWorks对于进入和退出夏令时的相关处理策略。背景信息 DataWorks可保障在进入和退出夏令时当天,任务...

控制台总览

您可以在任务调度产品控制台总览页面查看所有任务的动态和统计信息。任务统计 显示当前环境中已存在的各类任务数量统计:任务总数:当前环境中已配置的任务总数,包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量...

在ECS实例内访问网站提示“Nginx 502 bad gateway”...

本文介绍在ECS实例上使用浏览器访问网站时,提示“Nginx 502 Bad Gateway”错误的问题原因和解决方案。问题原因“Nginx 502 Bad Gateway”错误表示访问请求的php-cgi进程已经开始执行,但是由于读取资源失败等原因没有执行完毕,导致...

Shared Server

支持配置Shared Server调试日志,方便排查后端进程调度相关的任何问题。参数说明 Shared Server的典型配置参数说明如下:参数 说明 polar_enable_shm_aset 是否开启全局共享内存。默认关闭,重启生效。取值如下:on:开启全局共享内存。off...

逻辑表调度配置概述

对于逻辑表任务,您需定义任务的调度相关属性,包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 请参见 逻辑表任务配置入口,进入逻辑表任务配置页面。单击调度配置,进入逻辑表 调度配置 ...

Shared Server

支持配置Shared Server调试日志,方便排查后端进程调度相关的任何问题。参数说明 Shared Server的典型配置参数说明如下:参数 说明 polar_enable_shm_aset 是否开启全局共享内存。默认关闭,重启生效。取值如下:on:开启全局共享内存。off...

Dataphin中小时调度的任务可以依赖天调度的任务吗?

概述 本文主要介绍Dataphin中小时调度的任务能否上游依赖天调度的任务。详细信息 不建议小时调度的任务上游依赖天调度的任务,可能会出现每个小时跑的数据都一样的情况。对于这种情况,建议上游任务也是小时调度。或者上游任务中数据是定时...

使用调度器自定义参数

通过修改Kube Scheduler的自定义参数,您可以根据需要自定义调度器的行为,使得Pod的调度更符合您的期望。本文介绍如何使用调度器自定义参数。前提条件 已创建v1.20及以上版本的 ACK集群Pro版、ACK Edge集群Pro版 以及 ACK灵骏集群。具体...

构建调度器插件

您需要先构建自定义调度器插件后,才可以在E-HPC控制台创建带有插件的集群。本文以LSF插件为例,为您介绍构建调度器插件的具体操作。操作步骤 在本地机器上创建插件目录结构。调度器插件目录结构的更多信息,请参见 调度器插件组成。mkdir/...

DescribePropertyProcDetail-查询进程资产的资产指纹

查询服务器的进程资产的资产指纹信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 ...

调度设置

若您的任务需要周期性运行,则在配置任务的调度属性前,需先进入DataStudio的调度设置页面开启调度功能,开启后,周期任务的调度配置才会生效。同时,DataWorks支持设置周期任务默认使用的资源组,支持设置任务的默认重跑属性、重跑次数、...

使用ECI弹性调度

ECI弹性调度是阿里云提供的弹性调度策略。您可以在部署服务时通过添加Annotations来声明只使用ECS或ECI弹性资源,或者是在ECS资源不足时自动申请ECI资源。通过ECI弹性调度可以满足您在不同工作负载的场景下对弹性资源的不同需求。本文介绍...

进程监控

如果您查询的时间范围内,CPU消耗Top5的进程不固定,进程列表会显示该时间范围内全部进入过Top5的进程,列表中的时间表示该进程最后一次进入Top5的时间。云监控只采集CPU消耗Top5进程的CPU使用率、内存使用率和打开文件数。如果进程在查询...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

名词解释

调度时间 JobInstance每次调度的时间叫做调度时间,JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行,但是实际上要处理上...

配置时间调度

您可根据实际情况选择如下任一调度方式:调度类型选择 定时调度>周期调度,您需要配置如下参数:参数 说明 生效时间 选择调度周期生效的区间,默认1970-01-01~9999-01-01,表示一直生效。调度周期 小时:按设定的小时执行任务调度。日:按...

调度周期:分钟调度

分钟调度即每天指定的时间段内,调度任务按 N*指定分钟 的时间间隔运行一次。使用限制 分钟调度的时间间隔最小粒度只能设置为 5 分钟。配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置>时间...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

计费概述

本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型:调度任务的类型。包含单机任务和非单机任务(广播、分片、并行和网络任务等)。任务调度总量:通过SchedulerX配置并启用的分布式任务调度总规模,单位为CU...

基础版商业化公告(2021年07月30日)

为提供更优质的服务,阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...

创建定时调度

Serverless工作流 支持通过配置Cron表达式来定时调度工作流的执行。本文介绍如何为 Serverless工作流 创建定时调度。前提条件 成功创建工作流 使用控制台创建定时调度 登录 Serverless工作流控制台。在左侧导航栏,单击 流程。在流程列表中...

DATASOURCE:FNF:Schedules

DATASOURCE:FNF:Schedules类型用于获取定时调度列表。语法 {"Type":"DATASOURCE:FNF:Schedules","Properties":{"FlowName":String } } 属性 属性名称 类型 必须 允许更新 描述 约束 FlowName String 是 是 定时调度绑定的流程名称。该名称...

CreateSchedule-创建一个定时调度

创建一个定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
音视频通信 批量计算 威胁情报服务 视觉计算服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用