通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可以配置集成管道任务的开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本...
调度周期：年调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行，则在上述指定日期...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
FTP Check节点
单击节点编辑区域右侧的 调度配置，配置节点的调度属性。调度属性包括 基础属性、时间属性、资源属性 和 调度依赖，详情请参见 配置基础属性、时间属性配置说明、配置资源属性 及 配置同周期调度依赖。配置检测对象及检测策略。在 选择FTP...
UpdateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
使用DataWorks离线调度Designer工作流
在 调度配置 面板中，包含 基础属性、参数、时间属性、资源属性 和 调度依赖 等配置项。您可以在 时间属性 区域配置调度周期，后续DataWorks会根据配置的调度周期自动调度运行节点任务。具体配置详情请参见 调度配置。单击工具栏中的 和 ...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
本文为您介绍跨业务流程、跨工作空间场景下，...配置方法与通用场景的调度依赖配置相同，详细操作可参见 配置同周期调度依赖。说明 对于部分早期创建的工作空间，标准模式工作空间依赖简单模式工作空间可能无法支持，请 提交工单 申请修复。
HTTP触发器节点
单击节点编辑区域右侧的 调度配置，配置节点的调度属性，详情请参见 配置基础属性。说明 HTTP触发器节点默认上游节点为业务流程的根节点，当上游有其他任务节点时，您需要手动修改为对应的上游任务节点。保存并提交节点。重要 您需要设置...
离线任务属性配置概述
注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
离线任务属性配置概述
注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能...
Dataphin的补数据任务为何只执行了0秒
产品名称 Dataphin 产品模块 周期调度 ...请您检查您的任务调度配置，是否配置的调度时间与任务运行时间不一致（示例中的任务配置的是每月2日调度，所以除了补每月1日的数据，其他日期的调度任务都会空跑）：更多信息 无 相关文档 调度配置：...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
逻辑表配置概述
调度配置 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及...
GetFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。ResourceGroupId Long 375827434852437 文件发布成任务后，任务执行时对应的资源组。您可以调用 ...
调度周期：周调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每周一、周五两天定时运行，则在周一、周五生成的实例会正常调度执行，...
OSS对象检查节点
调度配置及检测的相关说明如下：调度依赖配置 DataWorks上每个节点均需拥有上游依赖，若OSS对象检查节点无实际上游依赖，您可根据空间业务复杂度选择依赖 虚拟节点 或直接依赖工作空间根节点。检查时间 通过调度时间，定义OSS对象检查节点...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
时间属性配置说明
您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 您需进入数据开发节点的编辑页面，单击右侧导航栏...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
CreateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
PostgreSQL节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
Oracle节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
SQL Server节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
StarRocks
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
逻辑表运行参数配置
在数据 开发 页面，选择您需配置调度的逻辑表，进入调度配置信息页面。下图以 维度逻辑表 为例。在调度配置 弹框 中单击 编辑。在 逻辑表编辑 页面的 调度&参数配置 页签，配置逻辑表 运行参数。对于逻辑表，系统将根据您配置的计算逻辑，...
创建数据源质量规则
调度配置列表 调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ① 筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、固定任务 触发调度 进行筛选。② 列表区 为您展示规则配置列表的 调度...
逻辑表运行参数配置
在数据 开发 页面，选择您需配置调度的逻辑表，进入调度配置信息页面。下图以 维度逻辑表 为例。在调度配置 弹框 中单击 编辑。在 逻辑表编辑 页面的 调度&参数配置 页签，配置逻辑表 运行参数。对于逻辑表，系统将根据您配置的计算逻辑，...
创建数据源质量规则
调度配置列表 调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ① 筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、固定任务 触发调度 进行筛选。② 列表区 为您展示规则配置列表的 调度...
周期性调度
DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息 目前支持以下两种方式配置任务周期性调度：方式一：通过DataWorks提供的PAI DLC节点载入DLC任务，并配置...
常见问题
A：移动调度中心实现高可用的策略如下：移动调度中心已预先配置好自身域名和 IP，这样 App 可以拉取到 MDGC 自身的域名调度配置。移动调度中心已预先配置好域名和 IP 到公网 DNS，主要用于 App 首次安装启动后通过公网域名拉取自身 IP。...
通过DMS管理作业
调度配置 根据业务需求配置相应的调度策略，Lindorm Spark任务流会根据该调度策略自动执行。配置方法如下：在 任务编排 页面单击目标任务流名称。单击任务流名称页面左下角的 任务流信息。在右侧 调度配置 区域，打开 开启调度 开关，配置...
创建实时元表规则
调度配置列表 调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ①筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、数据更新触发调度、固定任务触发调度 进行筛选。② 列表区 为您展示规则...
调度周期：月调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每月最后一天运行，则每月最后一天生成的实例会正常调度执行，而其它...
创建实时元表规则
调度配置列表 调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ①筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、数据更新触发调度、固定任务触发调度 进行筛选。② 列表区 为您展示规则...
离线集成概述
调度配置：调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见 离线管道调度配置。通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道...
创建并使用PAI DLC节点
为避免使用DataWorks周期性调度DLC节点在PAI产生较多不易区分的同名任务，建议在DataWorks开发DLC任务时根据实际需要合理设置调度周期，同时，建议在任务名称中增加日期时间变量，并通过调度配置为该变量赋值时间调度参数，实现任务命名...
- 产品推荐
- 这些文档可能帮助您