发布任务
本文为您介绍数据准备中占位符和任务运行的配置。前提条件 已完成数据的加工并导出数据，请参见 输出数据。占位符管理 占位符管理用于配置在数据准备（轻量ETL）输入和输出组件可以引用的占位符，包括静态和动态占位符，可以用于周期动态...
快速入门
策略及其说明如下：完成运行中的任务：任务流中其他正在运行的节点任务将会保持运行直到结束，其他的节点任务不会被运行，正在运行的任务流运行结束后，任务流将会被标记为运行失败。立即停止所有任务：在错误发生后，立即停止运行所有任务...
实时计算任务运行与管理
使用限制 DataWorks当前仅支持对EMR Spark Streaming及EMR Streaming SQL类型的节点提交的任务进行运维。进入实时计算任务页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运...
等待资源
在 等待资源 的实例节点，右键选择 运行诊断>调度资源，查看当前任务 运行状态 为 等待资源 时，仍在运行的任务。为什么任务一直在等待gateway调度资源？问题现象 任务日志中显示等待gateway调度资源。产生原因 当前资源组里的任务并发数...
运行历史
停止运行中的任务 您可以过滤运行中的节点，找到需要停止运行的任务，中止该任务运行。另存为临时文件 如果需要保存运行记录中的SQL语句，您可以单击 保存，将运行过的SQL记录另存为临时文件。在 新建节点 对话框中配置节点参数后，单击 ...
配置实时模板运行参数
默认的任务运行参数和项目的任务运行参数存在相同参数时，则项目参数值将覆盖默认参数值。新建模板任务的运行参数：模板的参数。即如果您不修改模板的运行参数，新建模板任务时，将会和其他非模板的新建任务参数保持一致，如果您修改了模板...
配置实时模板运行参数
默认的任务运行参数和项目的任务运行参数存在相同参数时，则项目参数值将覆盖默认参数值。新建模板任务的运行参数：模板的参数。即如果您不修改模板的运行参数，新建模板任务时，将会和其他非模板的新建任务参数保持一致，如果您修改了模板...
补数据
时间范围内运行的任务是串行运行的，即必须一个业务时间的任务执行成功，下一个业务时间才可执行任务。若需要停止时间范围内运行的任务，请前往运维中心，找到正在运行的目标任务，单击 停止。任意一个业务时间的任务执行失败，任务流也会...
上线离线数据同步任务
批量上线：在任务列表中勾选需要上线的任务，单击页面左下角 批量上线，在 提示 对话框中单击 确定。说明 上线后，在离线数据同步任务列表右上角单击 重置，可刷新同步任务的状态。相关操作 操作 说明 下线同步任务 单个下线：在 离线数据...
上线离线数据同步任务
批量上线：在任务列表中勾选需要上线的任务，单击页面左下角 批量上线，在 提示 对话框中单击 确定。说明 上线后，在离线数据同步任务列表右上角单击 重置，可刷新同步任务的状态。相关操作 操作 说明 下线同步任务 单个下线：在 离线数据...
创建手动任务
说明 在任务高并发执行且无法错峰运行的情况下，需要专有的计算资源来保障任务定时被调度运行时，建议您选择购买使用DataWorks的独享调度资源组。详情请参见 独享调度资源组。调试运行手动业务 您可通过单个节点编辑页面工具栏中的 与 调试...
周期任务基本运维操作
查看周期任务 周期任务列表中为您展示生产环境下调度系统按照调度配置自动定时运行的任务，您可以检查任务代码、调度参数、调度依赖、节点血缘等是否符合预期。同时，支持您通过列表及DAG图的方式，快速查看任务的详细信息并执行相关操作。...
Dataphin逻辑表任务运行时间超长
问题描述 Dataphin逻辑表任务运行时长达到了50+小时，为什么运行时长会那么长时间？问题原因 该逻辑表任务存在多个物化节点或者所有上游任务没有正常调度导致的。解决方案 该逻辑表任务存在两个物化节点；且存在两个上游依赖。查看逻辑表...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
运行配置
您可根据租户类型和业务场景为不同的租户配置运行实例的超时时间和运行任务失败时的重跑策略，杜绝因运行实例长时间资源占用造成资源浪费的同时提高运行实例的可靠性。本文将为您介绍如何进行运行配置。生效范围 运行配置所设置的策略仅...
运行配置
您可根据租户类型和业务场景为不同的租户配置运行实例的超时时间和运行任务失败时的重跑策略，杜绝因运行实例长时间资源占用造成资源浪费的同时提高运行实例的可靠性。本文将为您介绍如何进行运行配置。生效范围 运行配置所设置的策略仅...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
管理工作流任务
在 任务详情 页签，画布中展示当前任务参与运行的节点和运行详细信息。单击某个节点后，您可以在右侧详情中查看本次运行中，此节点的 运行信息、任务日志（日志和事件）、输出结果。您也可以单击右上角的 分享，将该工作流任务详情页面分享...
DescribeTaskInfo-查询任务详情
您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
DescribeTaskInfo-查询任务详情
您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
DescribeTaskInfo-查询任务详情
您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
智能基线概述
如上图所示，假设整个DataWorks有6个任务节点，任务D和任务E是基线上的任务，则影响任务D和任务E数据产出的上游任务，即上图中的任务A、任务B、任务D和任务E，均会被纳入监控范围，监控范围内的任务出现异常（出错或变慢），均会被智能基线...
查看实例统计
实例统计展示系统内离线实例和实时实例的运行详情、运行趋势、运行失败实例数排行、失败报警实例数排行等信息，帮助您从项目视角或全局视角，把控实例运行的情况。本文为您介绍运维中心的实例统计。实例统计入口 请参见 运维中心入口，进入...
查看实例统计
实例统计展示系统内离线实例和实时实例的运行详情、运行趋势、运行失败实例数排行、失败报警实例数排行等信息，帮助您从项目视角或全局视角，把控实例运行的情况。本文为您介绍运维中心的实例统计。实例统计入口 请参见 运维中心入口，进入...
GetTaskInstanceRelation-获取任务流运行记录的节点...
调用GetTaskInstanceRelation接口，获取任务流运行记录的节点信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息...
查看并管理手动实例
如下图所示：手动实例详情页支持的操作 手动实例详情为您展示计算任务和管道任务运行生成的实例详情。同时，支持对当前实例进行运维管理。操作 描述 查看生产节点 进入Prod项目中，查看当前任务配置。编辑开发节点 进入Dev项目下当前任务...
查看并管理手动实例
如下图所示：手动实例详情页支持的操作 手动实例详情为您展示计算任务和管道任务运行生成的实例详情。同时，支持对当前实例进行运维管理。操作 描述 查看生产节点 进入Prod项目中，查看当前任务配置。编辑开发节点 进入Dev项目下当前任务...
通过运维中心管理任务流与任务流实例
说明 如上是基于运行时间筛选出运行的实例总数，若您需要查看基于业务时间筛选出已运行的任务流实例数，请勾选右侧的 业务时间。筛选出目标状态的任务流实例，有 执行中、成功、失败 三种状态。查看任务流的运行状态。单击目标任务流右侧的...
离线任务属性配置概述
计算任务运行配置 用于定义任务运行超时时间和任务运行失败时的重跑策略，可杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。后续步骤 任务属性配置完成后，您可提交并发布至生产环境。后续可在生产环境进行任务...
离线任务属性配置概述
运行配置 用于定义任务运行超时时间和任务运行失败时的重跑策略，可杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。后续步骤 任务属性配置完成后，您可提交并发布至生产环境。后续可在生产环境进行任务的相关运...
新建SHELL任务
运行参数 若您的任务中调用了参数变量，您可在属性中对参数进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。配置说明，请参见 参数配置及使用节点参数。调度属性（周期任务）如果离线计算任务的调度类型为 周期任务...
新建SHELL任务
运行参数 若您的任务中调用了参数变量，您可在属性中对参数进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。配置说明，请参见 参数配置及使用节点参数。调度属性（周期任务）如果离线计算任务的调度类型为 周期任务...
新建VIRTUAL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。在代码编写页面，保存并提交SQL任务。单击页面上的 图标，保存...
新建VIRTUAL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。在代码编写页面，保存并提交SQL任务。单击页面上的 图标，保存...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、...运行配置 用于定义任务运行超时时间和任务运行失败时的重跑策略，可杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、...运行配置 用于定义任务运行超时时间和任务运行失败时的重跑策略，可杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。
- 产品推荐
- 这些文档可能帮助您