高级应用：实现复杂作业逻辑
do-while节点 DataWorks的循环节点（do-while节点），可根据业务需要重新编排循环节点内部业务流程，将需要循环执行的业务逻辑放入循环节点内部，并通过循环节点内部的end节点来定义循环条件，即确认不满足何种条件的情况下退出循环。...
时间轴
在 逻辑节点 页签下，添加1个多路判断节点、5个序列执行节点和1个定时器节点到主画布中。连接组件。配置各节点处理方法。多路判断 return data.value='20240401';case-1 return data.value='20240501';case-2 return data.value='20240601'...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
分支节点
分支节点是DataStudio中提供的逻辑控制系列节点中的一类。分支节点可以定义分支逻辑和不同逻辑条件时下游分支走向。注意事项 您需购买DataWorks标准版及以上版本，才可以使用分支节点。DataWorks版本介绍及购买，详情请参见 DataWorks各...
do-while节点最佳实践
前提条件 请在操作前，先了解do-while节点逻辑，详情请参见 do-while节点逻辑原理介绍。背景信息 循环节点循环输出赋值节点结果集。需要部署一个上游节点，能够把查询出的数据输出给下游节点使用，您可以使用赋值节点实现该条件。循环节点...
DataWorks On Hologres使用说明
虚拟节点 HTTP触发器节点 OSS对象检查节点 FTP Check节点 赋值节点 参数节点 do-while节点逻辑原理介绍 for-each节点逻辑原理介绍 分支节点 节点任务开发完成后，可根据需要执行如下操作：调度配置 若节点任务需进行周期性调度运行，可定义...
DataWorks On CDP/CDH使用说明
创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 您可结合DataWorks的通用类型节点和引擎计算节点进行复杂的逻辑处理。主要节点如下：用于管控业务流程的虚拟节点。用于外部系统触发调度的HTTP...
DataWorks On MaxCompute使用说明
虚拟节点 HTTP触发器节点 OSS对象检查节点 FTP Check节点 赋值节点 参数节点 do-while节点逻辑原理介绍 for-each节点逻辑原理介绍 分支节点 节点任务开发完成后，可根据需要执行如下操作：调度配置 若节点任务需进行周期性调度运行，可定义...
管理逻辑组合
单击左侧导航栏的 逻辑节点，进入逻辑节点页面添加需要的逻辑节点。例如：串行数据处理节点。如图连接节点，设置数据处理方法后，完成新增逻辑组合操作。重命名逻辑组合 单击左侧导航栏的 逻辑组合，进入逻辑组合页面。在逻辑组合列表中，...
实现网页跳转
将左侧节点栏内的 按钮 节点和逻辑节点栏内的 页面导航 节点拖至蓝图画布中。连接组件。单击 页面导航 逻辑节点，进入右侧 配置面板，选择面板内 其他配置 栏下方的 链接地址，自定义输入所需跳转网页的URL地址。（可选）实现带入参数到新...
什么是蓝图编辑器
在右侧的配置面板中，完成逻辑节点配置，包括节点名称、上下游事件、上下游动作以及处理方法等。添加组件、组件连线、逻辑节点配置的详细操作方法，请参见 蓝图编辑器详细功能介绍。配置完成后，单击页面右上角的 预览（）图标，查看可视化...
实现动态显隐
添加全部图层节点和逻辑节点页签下的3个条件判断节点到蓝图主画布中。连接组件。配置条件判断节点处理方法。return data.id=1;显示柱状图 return data.id=2;显示区域图 return data.id=3;全部显示 单击页面右上角的 预览 图标，预览展示...
逻辑流操作通用属性
属性配置 属性设置器 说明 节点Id 当前逻辑流操作节点的唯一识别 ID，无需手动设置。节点标题 当前逻辑流节点的在魔笔应用设计器中显示的标题。异常处理 用于开启逻辑流节点异常处理。关于逻辑流 异常处理 的更多信息，请参见 添加异常处理...
实现网页跳转
将左侧 图层节点 页签下的按钮节点和 逻辑节点 栏内的 导航 节点和 串行数据处理 节点拖至蓝图画布中。连接组件。配置串行数据处理节点处理方法。return { id:'datav-hello' } 单击 导航 节点，打开右侧 配置面板，在面板的 链接地址 内，...
步骤二：配置空气净化和告警服务
如以下示例中，依次定义了多个功能逻辑节点。配置一个 条件判断 节点。其中，包含两个条件：Senser设备上报的PM2.5值大于100和Sensor上报的SO 2 值大于0.25，条件选择为 OR。详细配置，请参见 条件判断。为满足条件的情况，配置一个 设备 ...
流程编排
以下是这些节点的使用方法：Start节点使用说明 LLM节点说明 Script节点使用说明 逻辑节点使用说明 End节点使用说明 画布操作说明 新增节点 每个节点上会显示能创建的节点有哪些类别，点击即可创建一个该类型的新节点。如上图脚本节点可以...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
页面编排设计器内节点说明
页面编排逻辑流节点说明 逻辑流节点 说明 变量赋值 对变量进行赋值。既可以以另一个 变量 为该变量赋值，也可以以 表达式 的形式为变量赋值。在同一个节点内，您可以为多个变量进行赋值。说明 在逻辑编排节点的参数配置面板，系统将 节点...
配置离线管道调度依赖
添加依赖-逻辑表节点 区域 描述 ① 搜索与筛选区 您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的 逻辑表节点。支持的筛选条件包括 逻辑表类型、所属的板块 以及输入 逻辑表名 进行筛选。② 节点列表 节点列表为您展示可依赖的 ...
配置离线管道调度依赖
添加依赖-逻辑表节点 区域 描述 ① 搜索与筛选区 您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的 逻辑表节点。支持的筛选条件包括 逻辑表类型、所属的板块 以及输入 逻辑表名 进行筛选。② 节点列表 节点列表为您展示可依赖的 ...
配置离线任务调度依赖
添加逻辑表节点 区域 描述 ① 搜索与筛选区 您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的 逻辑表节点。支持的筛选条件包括 逻辑表类型、所属的板块 以及输入 逻辑表名 进行筛选。② 节点列表 节点列表为您展示可依赖的 逻辑表...
配置离线任务调度依赖
添加逻辑表节点 区域 描述 ① 搜索与筛选区 您可在搜索与筛选区中根据支持的筛选条件筛选您所需依赖的 逻辑表节点。支持的筛选条件包括 逻辑表类型、所属的板块 以及输入 逻辑表名 进行筛选。② 节点列表 节点列表为您展示可依赖的 逻辑表...
管理蓝图资源
逻辑控制 蓝图中进行判断大小、等于、与、或等逻辑节点。数学库 蓝图中引用数学库的节点，包括但不限于随机数、获取二维坐标值、加减乘除等。对象实例 蓝图中进行对象控制的节点，包括但不限于属性、层级、查询和实例化等。常量 蓝图中关于...
查看并管理明细汇总表任务
展开子节点 展开物化节点 展开当前逻辑表任务节点的物化节点，可查看该逻辑表任务节点的物化节点名称、物化节点字段和物化代码。查看操作日志 查看当前节点的操作日志。明细及汇总表节点支持的操作 明细及汇总表DAG节点支持的操作与明细及...
查看并管理明细汇总表任务
展开子节点 展开物化节点 展开当前逻辑表任务节点的物化节点，可查看该逻辑表任务节点的物化节点名称、物化节点字段和物化代码。查看操作日志 查看当前节点的操作日志。明细及汇总表节点支持的操作 明细及汇总表DAG节点支持的操作与明细及...
查看并管理明细及汇总表实例
例如，对某个逻辑表任务节点进行补数据时，需要先了解该逻辑表任务节点归属的物化节点，并对物化节点进行逐一补数据操作，这样补数据操作过程复杂，且无法保障数据一致性。在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点...
查看并管理明细及汇总表实例
例如，对某个逻辑表任务节点进行补数据时，需要先了解该逻辑表任务节点归属的物化节点，并对物化节点进行逐一补数据操作，这样补数据操作过程复杂，且无法保障数据一致性。在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点...
快捷功能
编组收纳 当蓝图中节点间的逻辑较为复杂时，您可以将相似逻辑的节点进行编组，系统将自动生成一个编组框，方便您的查看和使用。您可以使用以下编组功能。添加编组：右键单击画布中的一个或多个节点，选择 添加编组，可生成一个编组框。您...
归并节点
本文为您介绍归并节点的概念，以及如何新建归并节点、定义归并逻辑，并通过实践案例为您展示归并节点的调度配置和运行详情。背景信息 归并节点是DataStudio中提供的逻辑控制系列节点中的一类，可以对上游节点的运行状态进行归并，用于解决...
按线上场景关联
根据线上场景关联资源信息，手动选中场景后，系统自动选中场景的依赖场景、场景的场景节点、场景节点的逻辑表、场景的输出物理表。说明 依赖场景 第一种情况：如果A场景任意场景节点的输出表是B场景任意场景节点的输入表，那么A场景就是B...
可视化编排服务方法
说明 在逻辑编排节点的参数配置面板，系统将 节点名称 自动生成为相应逻辑编排节点的名称，且支持修改。可选：单击 While，在 While 面板完成 节点名称、描述（可选填）和 条件配置方式（支持 结构化 和 表达式 两种方式）设置，单击 保存...
调度配置
参数 描述 上游依赖 上游依赖包括物理节点和逻辑表节点。逻辑表节点上游依赖仅支持系统解析。执行如下操作，添加该代码任务调度时依赖的上游物理节点：单击 手动添加上游。在 新建上游依赖 对话框中，您可以通过以下两种方式搜索依赖节点：...
调度配置
参数 描述 上游依赖 上游依赖包括物理节点和逻辑表节点。逻辑表节点上游依赖仅支持系统解析。执行如下操作，添加该代码任务调度时依赖的上游物理节点：单击 手动添加上游。在 新建上游依赖 对话框中，您可以通过以下两种方式搜索依赖节点：...
查看及管理任务相关对象
节点类型：支持物理节点和逻辑表节点进行筛选。引用参数：支持根据引用参数进行筛选。节点项目/板块：支持根据下游任务的项目或数据板块进行筛选。调度周期：支持月、周、小时、分钟、日调度周期进行筛选。运维负责人：支持根据运维负责人...
查看及管理任务相关对象
节点类型：支持物理节点和逻辑表节点进行筛选。引用参数：支持根据引用参数进行筛选。节点项目/板块：支持根据下游任务的项目或数据板块进行筛选。调度周期：支持月、周、小时、分钟、日调度周期进行筛选。运维负责人：支持根据运维负责人...
使用DataWorks连接
同时，支持使用资源、函数、以及相关逻辑处理节点开发更多复杂的任务。MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询...
技术架构
转发逻辑 目标节点 转发的请求 只发往主节点 所有DML操作（INSERT、UPDATE、DELETE、SELECT FOR UPDATE）。所有DDL操作（建表或库、删表或库、变更表结构、权限等）。所有事务中的请求。用户自定义函数。存储过程。EXECUTE语句。Multi ...
查看并管理脚本实例
对于逻辑表节点，为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。优先级 实例所属的优先等级。说明 若已开通基线功能，基线任务取所有基线中最高的作为优先级，覆盖原有配置的任务优先级。运维负责人 ...
查看并管理脚本实例
对于逻辑表节点，为实例对象最早开始运行的内部物化节点和最晚结束运行的内部物化节点之间的时间差。优先级 实例所属的优先等级。说明 若已开通基线功能，基线任务取所有基线中最高的作为优先级，覆盖原有配置的任务优先级。运维负责人 ...
- 产品推荐
- 这些文档可能帮助您