周期性调度
在 新建节点 页面的 名称 文本框，输入部署节点，然后单击 确认。步骤五：提交任务测试 因为定时提交任务基于原有任务节点，所以定时提交之前，需要进行冒烟测试，创建初始任务节点。如果已经存在初始节点，则直接执行步骤六。编辑部署脚本...
配置基础属性
进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 基础属性 区域配置调度节点的基本信息。参数 描述 名称 新建数据开发节点时输入的节点名称，不可以修改。节点ID 数据开发节点提交后会生成唯一的节点ID，不可以修改。节点类型 ...
创建并管理MaxCompute节点
创建MaxCompute节点 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。以ODPS SQL节点为例，为您介绍创建节点的操作。右键某个业务流程，选择 新建...
配置do-while节点
在内部节点页面，单击左侧的次数，并右键单击相应节点，选中 查看运行日志。查看第N次循环的详细执行日志。在内部节点页面，单击左侧的 第5次，查看第5次循环Shell节点的日志。由该示例可见，do-while节点的工作流程如下：从Start节点开始...
创建CDH Hive节点
步骤二：开发Hive任务 您可以双击已创建的节点，进入任务开发页面，进行以下任务开发操作。（可选）选择CDH集群实例 如果您的工作空间注册了多个CDH集群，您可以在页面顶部选择合适的集群。如果仅绑定一个CDH集群，则无需选择。开发SQL代码...
创建CDH Presto节点
步骤二：开发Presto任务 您可以双击已创建的节点，进入任务开发页面，进行以下任务开发操作。（可选）选择CDH集群实例 如果您的工作空间注册了多个CDH集群，您可以在页面顶部选择合适的集群。如果仅绑定一个CDH集群，则无需选择。开发SQL...
参数节点
跨节点传参 当数据开发的业务流程中，某个下游节点的任务需要获取多个、多级上游节点的输出参数时，您可以使用参数节点，将下游节点需要获取的所有参数统一添加至参数节点中，后续下游节点可直接挂在参数节点之下，即可获取到所有所需参数...
创建CDH MR节点
步骤一：创建CDH MR节点 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH MR。在 ...
PostgreSQL节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
Oracle节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
StarRocks
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
HTTP请求
节点配置 在业务逻辑开发编辑页面的 节点>触发 列表中，拖拽 HTTP请求 节点到中间画布并进行配置，如图所示。配置项 说明 节点名称 支持中文汉字、英文字母、数字和下划线（_）。长度不超过30个字符。Action 设置调用API时，参数 Action 的...
SQL Server节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI...1级 ListInnerNodes 调用ListInnerNodes获取内部节点详情，例如查询组合节点、循环节点等节点类型的内部节点，不支持PAI节点的内部节点查询。1...
AnalyticDB for MySQL
步骤二：开发AnalyticDB for MySQL任务（可选）选择AnalyticDB for MySQL数据源 如果您的工作空间创建了多个AnalyticDB for MySQL数据源，则需先在AnalyticDB for MySQL节点编辑页面选择合适的数据源。如果仅创建了一个AnalyticDB for ...
创建并使用AnalyticDB for PostgreSQL节点
步骤二：开发AnalyticDB for PostgreSQL任务（可选）选择AnalyticDB for PostgreSQL数据源 如果您的工作空间创建了多个AnalyticDB for PostgreSQL数据源，则需先在AnalyticDB for PostgreSQL节点编辑页面选择合适的数据源。如果仅创建了...
创建EMR Shell节点
开发Shell任务 双击已创建的节点，进入任务开发页面，进行以下任务开发操作。方案一：直接引用OSS资源 当前节点可直接通过 OSS REF 的方式直接引用OSS资源，在运行EMR节点时，DataWorks会自动加载代码中的OSS资源至本地使用。该方式常用于...
ClickHouse SQL
步骤二：开发ClickHouse SQL任务（可选）选择ClickHouse数据源 如果您的工作空间创建了多个ClickHouse数据源，则需先在ClickHouse SQL节点编辑页面选择合适的数据源。如果仅创建了一个ClickHouse数据源，则默认使用该数据源进行开发操作。...
步骤六：上线开发节点
操作步骤 在开发节点画布编辑页面，单击左上角的 图标。在确认对话框中，单击 确定。在 物理化预分析 对话框中，确认待物理化的逻辑表无误后，单击 确定，等待运行成功，上线开发节点到生产节点。单击 生产环境 页签，单击目标节点操作列的...
步骤六：上线开发节点
操作步骤 在开发节点画布编辑页面，单击左上角的 图标。在确认对话框中，单击 确定。在 物理化预分析 对话框中，确认待物理化的逻辑表无误后，单击 确定，等待运行成功，上线开发节点到生产节点。单击 生产环境 页签，单击目标节点操作列的...
创建CDH Spark节点
步骤一：创建CDH Spark节点 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH Spark...
创建并使用PAI Designer
步骤一：创建PAI Designer节点 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点>算法>PAI Designer。在 新建...
一键MaxCompute数据同步节点
创建表数据同步节点 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程，则可以忽略该步骤。鼠标悬停至 图标，...
创建并使用PAI DLC节点
步骤二：开发PAI DLC任务 开发任务代码：简单示例 在PAI DLC节点编辑页面，您可通过如下方式编写DLC任务：基于已有DLC任务编写任务代码。通过名称搜索，载入在人工智能平台PAI已创建的DLC任务。任务载入后，DLC节点编辑器会根据PAI中该任务...
创建CDH Impala节点
步骤二：开发Impala任务 您可以双击已创建的节点，进入任务开发页面，进行以下任务开发操作。（可选）选择CDH集群实例 如果您的工作空间注册了多个CDH集群，您可以在页面顶部选择合适的集群。如果仅绑定一个CDH集群，则无需选择。开发SQL...
归并节点
创建归并节点 进入 数据开发 页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点>通用>归并节点。在 新建节点 对话框中，输入节点 ...
虚拟节点
调度无血缘关系的节点 当业务流程中的最终输出节点有多个分支输入节点，且输入节点没有依赖关系时，您需要将虚拟节点作为多个输入节点的上游，将工作空间根节点作为虚拟节点的上游，实现工作空间根节点调度该虚拟节点，虚拟节点调度下游...
创建EMR Spark节点
开发Spark任务 双击已创建的节点，进入任务开发页面，进行以下任务开发操作。方案一：直接引用OSS资源 当前节点可直接通过 OSS REF 的方式直接引用OSS资源，在运行EMR节点时，DataWorks会自动加载代码中的OSS资源至本地使用。该方式常用于...
Shell节点
创建通用Shell节点 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点>通用>Shell，在 新建节点 对话框输入节点名称及...
创建EMR MR节点
开发MR任务 双击已创建的节点，进入任务开发页面，进行以下任务开发操作。方案一：直接引用OSS资源 当前节点可直接通过 OSS REF 的方式直接引用OSS资源，在运行EMR节点时，DataWorks会自动加载代码中的OSS资源至本地使用。该方式常用于...
HTTP触发器节点
以使用MaxCompute的SQL进行任务计算为例，您可参见 开发ODPS SQL任务，创建完成MaxCompute的SQL计算节点。背景信息 外部调度系统触发任务运行有以下两种典型场景：HTTP触发器节点无其他上游任务节点 此种场景下，您需要创建HTTP触发节点后...
采集数据
在 数据开发 页面，双击 Log2oss 节点，进入节点配置页面。配置同步网络链接。完成以下网络与资源配置后，单击 下一步，并根据界面提示完成连通性测试。参数 描述 数据来源 数据来源：OSS 数据源名称：oss_workshop_log 我的资源组 选择...
for-each节点逻辑原理介绍
若循环遍历任务为Shell类型，则可双击 Shell节点，进入节点的代码开发页面开发任务代码。若循环遍历任务比较复杂，则可在内部节点流程中新建其他任务节点，根据实际情况重新构建节点的运行流程。说明 自定义循环任务节点时，您可以删除内部...
分支节点
创建分支节点 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点>通用>分支节点。您也可以打开相应...
调度周期：年调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行，则在上述指定日期...
Check节点
步骤一：创建 Check节点 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击 图标，选择 新建节点>通用>Check节点。根据界面...
调度周期：周调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每周一、周五两天定时运行，则在周一、周五生成的实例会正常调度执行，...
分支节点实现特定时间执行任务
分支节点与其它控制节点 在 数据开发 页面，您可以看到当前版本的DataWorks支持的赋值节点、分支节点和归并节点等控制节点。各类型控制节点的作用如下：赋值节点：您可以通过赋值节点把自己的结果传给下游，详情请参见 赋值节点。赋值节点...
调度周期：月调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每月最后一天运行，则每月最后一天生成的实例会正常调度执行，而其它...
诊断节点
单击 新建，在 新建节点 页面，配置新节点的信息，包括节点名称、描述，选择节点类型、超时时间及标签。为该诊断节点绑定巡检规则，否则节点将无法执行。单击节点右侧 操作 列下的 详情 按钮。在节点详情页面，单击 绑定诊断规则。在右侧...
- 产品推荐
- 这些文档可能帮助您