调度设置

若您的任务需要周期性运行,则在配置任务的调度属性前,需先进入DataStudio的调度设置页面开启调度功能,开启后,周期任务的调度配置才会生效。同时,DataWorks支持设置周期任务默认使用的资源组,支持设置任务的默认重跑属性、重跑次数、...

查看版本

节点或业务流程每次提交成功将生成...outputContextList isStop 节点是否暂停调度,取值如下:0:正常调度或空跑调度 1:暂停调度 tags 保留字段,无业务含义。tagList fileId dependentType 更多时间属性配置,详情请参见 时间属性配置说明。

工作流编辑

设置时间调度运行 立即运行一批工作流,将指定调度规则的触发时间作为本工作流的业务时间时间相关的变量将使用该时间进行计算。一次最多支持100个触发点。您需要设置的信息如下:开始时间:工作流调度的开始时间。结束时间:可选,工作流...

HTTP任务

高级配置参数说明如下:配置名称 说明 时间偏移 数据时间相对于调度时间的偏移,可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区,包括一些常用国家或地区,也包括标准的GMT表达方式。第三步:报警配置 HTTP任务支持错误...

重启实例或节点

说明 预计所需总时间表示按照前一次单节点重启时间的均值,乘以总节点个数进行评估。可能存在误差,实际以真实重启时间为准。单击 确认,开始重启操作。说明 如果是强制重启,需要先勾选 确认要强制重启,进行重启确认。重启过程中,实例 ...

Cron

Cron是一款类Unix的操作系统下的基于时间的任务管理系统。您可以通过Cron在固定时间、日期间隔下运行定时任务(可以是命令和脚本)。Cron表达式 Cron的表达式为:秒分时 日月周[年]为了帮助您理解,下面介绍一些常用的Cron表达式示例。...

Cron

Cron是一款类Unix的操作系统下的基于时间的任务管理系统。您可以通过Cron在固定时间、日期间隔下运行定时任务(可以是命令和脚本)。Cron表达式 Cron的表达式为:秒分时 日月周[年]为了帮助您理解,下面介绍一些常用的Cron表达式示例。...

新建调度任务

已发布的离线模型支持配置自动化调度任务。本文主要介绍新建调度任务。前提条件 已新建离线模型且模型已发布,具体操作,请参见 新建离线模型。已创建云计算资源作为数据源,具体操作,请参见 新建计算资源。操作步骤 登录 数据资源平台...

使用负载热点打散重调度

ack-koordinator组件提供负载热点打散重调度能力,可以感知集群内节点负载的变化,自动地优化超过负载水位安全阈值的节点,防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...

使用DMS进行数据归档

定时调度 提供了2种定时调度的方式:固定间隔时间调度:开始时间:执行任务的开始时间。间隔时间:执行任务的间隔时间,单位为小时。结束时间:执行任务的结束时间。例如,配置开始时间为00:00、间隔时间为6小时、结束时间为20:59,系统将...

实例生成方式:发布后即时生成实例

DataWorks会为您的周期调度节点自动生成自调度实例,支持 T+1次日生成、发布后即时生成 两种实例生成方式,即发布至生产环境后第二天自动调度及发布至生产环境后立即自动调度。本文为您介绍即时生成实例的规则及配置要点。注意事项 周期...

配置并使用调度参数

调度参数是根据任务调度的业务时间调度参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数,并以ODPS SQL节点为例,讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...

从Logstore到Logstore

调度时间范围 调度时间范围,具体说明如下:某时间开始:指定第一个实例被调度的开始时间。特定时间范围:指定实例被调度的起止时间,即定时SQL任务仅在该时间范围内可被执行。重要 实例的调度时间必须在该范围内,超出该范围时,定时SQL...

通过DMS管理作业

云原生多模数据库 Lindorm 计算引擎支持通过数据管理DMS的任务编排功能来调度Lindorm Spark任务,并查看Lindorm Spark任务发布记录和日志,满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。本文介绍通过DMS管理...

从Logstore到MetricStore

调度时间范围 调度时间范围,具体说明如下:某时间开始:指定第一个实例被调度的开始时间。特定时间范围:指定实例被调度的起止时间,即定时SQL任务仅在该时间范围内可被执行。重要 实例的调度时间必须在该范围内,超出该范围时,定时SQL...

从MetricStore到MetricStore

调度时间范围 调度时间范围,具体说明如下:某时间开始:指定第一个实例被调度的开始时间。特定时间范围:指定实例被调度的起止时间,即定时SQL任务仅在该时间范围内可被执行。重要 实例的调度时间必须在该范围内,超出该范围时,定时SQL...

HTTP任务

高级配置参数说明如下:配置名称 说明 时间偏移 数据时间相对于调度时间的偏移,可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区,包括一些常用国家或地区,也包括标准的GMT表达方式。第三步:报警配置 HTTP任务支持错误...

HTTP任务(Serverless)

高级配置参数说明如下:配置名称 说明 时间偏移 数据时间相对于调度时间的偏移,可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区,包括一些常用国家或地区,也包括标准的GMT表达方式。第三步:报警配置 HTTP任务支持错误...

更改共享GPU调度显存最小分配单位

若集群创建时间早于2021年10月20日,需要 提交工单 让售后同学重启调度器,配置才能生效。更改显存单位 未安装ack-ai-installer 登录 容器服务管理控制台,在左侧导航栏选择 集群。在 集群列表 页面,单击目标集群名称,然后在左侧导航栏,...

任务常见问题

如果任务执行时间比较长,上一次没运行完,下一次调度时间到了,则下一次会直接丢弃,不会运行也不会排队。如果设置任务实例并发数为2,上一次没运行完,下一次时间到了仍然可以运行一个实例,最多同时运行两个任务实例。如何设置一次性...

UpdateFile

该参数与 DataWorks控制台 中,数据开发任务的“调度配置>时间属性>生效日期”配置的开始时间的毫秒时间戳对应。EndEffectDate Long 否 4155787800000 停止自动调度时间戳,单位为毫秒。该参数与 DataWorks控制台 中,数据开发任务的...

依赖关系

配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖?哪些场景不支持设置调度依赖?不需要依赖的表如何删除?调度依赖配置常见问题 提交节点报错:当前节点依赖的父节点输出名不存在 提交...

CreateFile

每周二、周五的0点5分自动调度:00 05 00*2,5 由于DataWorks调度系统的规则,cron表达式有以下限制:最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 DAY 调度周期的类型,包括NOT_DAY(分钟、小时)和DAY(日、...

Dataphin补数据任务空跑调度了是什么原因

补数据选择的是业务日期,而调度周期配置的是调度日期,如果补数据时选择的业务日期是20220930,那么对应的调度日期就是20221001,而调度周期是月调度,并没有包含每个月的1日,所以补数据选择20220930时任务是空跑运行的。解决方案 在调度...

工作流调度

使用说明 工作流中的Job没有独立调度时间,跟随工作流的时间开始调度。工作流调度至少要有2个Job,且有依赖关系。如果只有一个Job,请直接使用任务管理。工作流支持跨应用编排,可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...

查看统计图表

调度时间范围 调度时间范围,具体说明如下:某时间开始:指定第一个实例被调度的开始时间。特定时间范围:指定实例被调度的起止时间,即定时SQL任务仅在该时间范围内可被执行。重要 实例的调度时间必须在该范围内,超出该范围时,定时SQL...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...

为什么会空跑

场景一:周月实例空跑周期 任务定时时间为 定时每周几 或者“每月定时几号”跑的任务,任务只有在指定调度时间才会真实跑数据,在非指定时间内,非调度时间内其他时间会生成空跑实例,不会实际执行任务,该实例状态为 周月实例空跑周期。...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...

产品功能

数据偏移时间 SchedulerX可以处理有数据状态的任务,在创建任务的时候设置调度时间,而实际上处理的数据时间可能和任务执行时间不一致,可以配置时间偏移,调度时间+时间偏移即数据时间。例如一个任务是每天00:30运行,但是实际上要处理前...

历史数据清理

重启调度 说明 关闭工单后,若需要重启调度只能重新提工单。修改工单责任人 工单责任人默认是工单提交者。定时调度的暂停、重启,只有工单责任人有权限执行,每次调度执行的邮件通知,也只会发给责任人。定时任务生成后,系统将会按照设置...

CPU性能优化场景概述

通过控制L3 cache和MBA提高不同优先级任务的隔离能力 QoS Identity 网卡中断的NUMA绑定 内存回收策略 最大化保持延迟敏感负载的RT,CPU时间片和内存回收策略。ACK节点运行在弹性裸金属服务器/大规格ECS实例(32核以上)使用CPUShare模式的...

Quota管理(新版)

配置时间计划:Quota计划的调度时间计划,购买包年包月MaxCompute实例后,默认不开启时间计划调度生效的 Default Quota计划。一旦配置时间计划,每个一级Quota的时间计划默认为0时整开始启动。如上示例,时间计划可以配置为0时整和8时整...

重启实例

当实例出现连接数满或性能问题时,您可以手动重启实例。影响 重启实例会造成30秒左右的连接中断,重启前请做好业务安排,谨慎操作。操作步骤 登录 云数据库专属集群控制台。在页面左上角,选择目标地域。在目标专属集群的 操作 列,单击 ...

查看并管理手动实例

查看手动实例列表 手动实例列表页面展示当前业务类型的实例对象、运行状态、业务日期、开始运行时间、结束运行时间、运行时长、优先级、负责人、调度资源组及支持的操作。字段 描述 实例对象 运行一次手动任务得到一个手动实例对象。包含...

概念原理

多个数据分可以在多台机器上调度执行,也可以在一台机器的多个线程上调度执行,具体调度方式由调度中心根据负载进度进行调整。使用任务分可以缩短任务执行时间,同时也可以解决单机计算能力上限的问题,并降低部分任务失败对整体系统的...

任务常见问题

如果任务执行时间比较长,上一次没运行完,下一次调度时间到了,则下一次会直接丢弃,不会运行也不会排队。如果设置任务实例并发数为2,上一次没运行完,下一次时间到了仍然可以运行一个实例,最多同时运行两个任务实例。如何设置一次性...

修改调度策略

对于已经配置完成的数据集成任务,如果由于业务需求变更需要重新调整调度策略,您可以参照本文的方法修改调度策略。前提条件 已创建数据集成任务,相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧...

查看并管理手动实例

查看手动实例列表 手动实例列表页面展示当前业务类型的实例对象、运行状态、业务日期、开始运行时间、结束运行时间、运行时长、优先级、负责人、调度资源组及支持的操作。字段 描述 实例对象 运行一次手动任务得到一个手动实例对象。包含...

加工数据

配置定时调度时间:配置 调度周期 为日,无需单独配置当前节点 定时调度时间,当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制,即每日00:15后才会调度。配置依赖关系:通过 代码自动解析 自动将产出ods_raw_log_d表数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
大数据开发治理平台 DataWorks 智能语音交互 音视频通信 视觉计算服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用