代码评审
该操作会阻塞节点的提交发布流程，即暂停当前节点代码的提交发布，进行代码评审。当评审通过后，节点继续提交发布。当评审未通过，则节点无法被提交发布，您需要先处理代码问题，直至评审通过后才可继续提交发布节点。使用限制 仅DataWorks...
配置代码模板
代码模板是在创建节点后，默认展示在该节点代码编辑器界面最前端的内容，包括节点类型、节点的创建用户、节点的创建时间等信息，帮助您快速标记该节点。通常用于业务层进行节点管理。本文为您介绍DataWorks支持的代码模板类型及如何设置...
代码多副本功能
在NUMA架构（尤其是ARM实例）中，不同NUMA节点具有各自的本地内存，当一个NUMA节点上的程序或进程需要访问其他NUMA节点的代码段时，就会引入额外的延迟和性能开销。通过代码多副本功能，可以将远程节点的代码段复制到本地节点，避免了跨...
do-while节点最佳实践
循环任务代码：内部的Shell节点的代码编译时，可以联合内置变量来打印各种循环参数。do-while节点可用的内置变量可参见 内置变量，Shell节点的参考代码如下。echo '${dag.input}';echo '获取当前循环的行数据:'${dag.input[${dag.offset}]}...
编辑器代码提效
DataWorks提供的权限校验、自动补全代码、内置代码模板等功能，帮助您快速校验当前账号对于目标表的操作权限并引导授权，同时根据输入的关键词，智能推荐相关代码或内置代码模板，快速创建代码任务，提升代码开发效率。本文为您介绍编辑器...
配置do-while节点
输入以下代码，定义do-while节点的结束条件。if${dag.loopTimes};else:print False;{dag.loopTimes} 变量是系统的保留变量，代表当前的循环次数，从1开始，do-while的内部节点可以直接引用该变量。更多内置变量请参见 内置变量 和 取值案例...
配置for-each节点
遍历节点的内部节点获取参数 根据业务需求自定义for-each遍历节点的内部业务流程，并在内部流程的节点中通过内置变量来获取所需参数值，运行循环遍历任务。内置变量的详情请参见 内置变量，配置详情请参见 配置for-each节点。遍历节点不...
查看并管理手动实例
查看手动任务 进入生成当前实例节点的任务代码详情页，查看任务节点详情和对任务节点进行运维管理等，详情请参见 查看并管理手动任务。查看运行日志 进入运行日志页面，查看当前实例的运行日志。手动实例批量操作 操作 描述 重跑 同时重跑...
提交节点时提示：输入输出和代码血缘分析不匹配
可能原因 当代码中SELECT的表与节点的依赖的父节点配置不一致，或代码中INSERT、CREATE的表与节点的本节点的输出不一致时，会出现该提示。以上图为例，说明：您提交的节点代码中有SELECT名称为table2的数据，但是table2并没有配置为节点的...
查看并管理手动实例
查看手动任务 进入生成当前实例节点的任务代码详情页，查看任务节点详情和对任务节点进行运维管理等，详情请参见 查看并管理手动任务。查看运行日志 进入运行日志页面，查看当前实例的运行日志。手动实例批量操作 操作 描述 重跑 同时重跑...
ClickHouse SQL
开发SQL代码 在ClickHouse SQL节点的代码编辑区域编写要执行的ClickHouse SQL任务。示例运行的任务代码如下。CREATE DATABASE if not EXISTS ck_test;CREATE TABLE if not EXISTS ck_test.first_table(`product_code` String,`package_name...
PostgreSQL节点
开发SQL代码：简单示例 在PostgreSQL节点的代码编辑区域编写要执行的任务。示例查询PostgreSQL数据库中所有基本表（BASE TABLE）的信息，代码如下：SELECT*FROM information_schema.tables WHERE table_type='BASE TABLE';开发SQL代码：...
Oracle节点
开发SQL代码：简单示例 在Oracle节点的代码编辑区域编写要执行的任务。示例查询当前用户有权访问的所有表的基本信息。代码如下：SELECT*FROM ALL_TABLES;开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态...
StarRocks
开发SQL代码：简单示例 在StarRocks节点的代码编辑区域编写要执行的StarRocks任务。示例查询StarRocks数据库中所有基本表（BASE TABLE）的信息，代码如下：SELECT*FROM information_schema.tables WHERE table_type='BASE TABLE';开发SQL...
SQL Server节点
开发SQL代码：简单示例 在SQL Server节点的代码编辑区域编写要执行的任务。示例查询SQL Server数据库中所有用户表的基本信息。代码如下：SELECT*FROM sys.tables;开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下...
创建并使用AnalyticDB for PostgreSQL节点
开发SQL代码 在AnalyticDB for PostgreSQL节点的代码编辑区域，根据PostgreSQL支持的语法编写SQL语句。详情请参见 SQL语法。步骤三：配置任务调度 如您需要周期性执行创建的节点任务，可单击节点编辑页面右侧的 调度配置，根据业务需求配置...
引用SQL组件
任务调试：对当前节点的代码进行测试运行，确认代码逻辑符合预期，操作详情请参见 任务调试流程。任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布...
引用SQL组件
任务调试：对当前节点的代码进行测试运行，确认代码逻辑符合预期，操作详情请参见 任务调试流程。任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布...
查看并管理明细及汇总表实例
使用说明 规范建模采用动态物化逻辑，因此您可基于以下2个运维视角进行运维管理：在 物理运维视角 下，您可能需要通过查看最新物化节点代码或运行日志的方式，了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如，对某个逻辑表...
查看并管理明细及汇总表实例
使用说明 规范建模采用动态物化逻辑，因此您可基于以下2个运维视角进行运维管理：在 物理运维视角 下，您可能需要通过查看最新物化节点代码或运行日志的方式，了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如，对某个逻辑表...
参数节点
参数节点是一种特殊的虚拟节点，用于管理业务流程中的参数和实现参数在任务节点中传递，支持常量参数、变量参数和透传上游节点的参数，需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点，引导您高效使用DataWorks...
开发ODPS MR任务
任务调试：对当前节点的代码进行测试运行，确认代码逻辑符合预期，操作详情请参见 任务调试流程。任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布...
开发ODPS MR任务
任务调试：对当前节点的代码进行测试运行，确认代码逻辑符合预期，操作详情请参见 任务调试流程。任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布...
创建并使用PAI DLC节点
人工智能平台PAI的 容器训练DLC，用于分布式执行训练任务。...后续步骤 任务提交发布后，会基于节点的配置周期性运行，您可单击编辑界面右上角的 运维，进入运维中心查看周期任务的调度运行情况。详情请参见 查看并管理周期任务。
配置并使用调度参数
ODPS SQL节点的代码及调度参数的配置情况如下图所示。代码中定义变量。在ODPS SQL节点代码中引用系统内置参数 '${var1}'、'${var2}'，系统自定义参数 '${var3}'、'${var4}' 变量（如区域1）。为变量赋值。在 调度配置>参数 区域，为变量...
使用do-while节点实现复杂的数据分析
双击 30_day 节点，进入 ODPS SQL 节点的编辑页面，输入以下代码。INSERT INTO orders_stat SELECT CONCAT('2022',LPAD(${dag.loopTimes},2,'0'),'01')AS stat_day,'30d' AS stat_type,COUNT(id)AS order_total,nvl(SUM(order_amount),0)AS...
创建并使用PAI Designer
人工智能平台PAI的 可视化建模Designer，用于实现端到端的机器学习开发...后续步骤 任务提交发布后，会基于节点的配置周期性运行，您可单击编辑界面右上角的 运维，进入运维中心查看周期任务的调度运行情况。详情请参见 查看并管理周期任务。
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
分支节点实现特定时间执行任务
本文采用Python类型作为赋值节点的代码，调度属性和代码设置如下。代码设置 调度属性配置 定义分支。分支节点可以用Python语法的表达式定义条件，每个条件会绑定一个输出。当满足条件时，该输出的下游节点会被执行，而其它的节点会被置为...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
创建业务流程
配置虚拟节点的上游依赖 在业务流程中，虚拟节点通常作为整个业务流程的控制器，是业务流程中所有节点的上游节点。通常 使用工作空间根节点 作为虚拟节点 依赖的上游节点：双击虚拟节点名称，进入节点的编辑页面。单击节点编辑页面右侧的 ...
for-each节点逻辑原理介绍
内置变量 含义 与for循环对比${dag.loopDataArray} 获取赋值节点的数据集 相当于for循环中的代码结果：data=[]${dag.foreach.current} 获取当前遍历值 以下面的for循环代码为例：for(int i=0;i<data.length;i+){ print(data[i]);} data[i]...
AnalyticDB for MySQL
开发SQL代码 在AnalyticDB for MySQL节点的代码编辑区域编写要执行的AnalyticDB for MySQL任务。示例运行的任务代码如下。show tables;步骤三：配置任务调度 如您需要周期性执行创建的节点任务，可单击节点编辑页面右侧的 调度配置，根据...
创建EMR Spark节点
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度EMR Spark任务前，您需要先在EMR中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，EMR Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
创建CDH Spark节点
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
创建并管理MaxCompute节点
DataWorks为您提供多种MaxCompute节点，便于您根据需要开发不同类型的MaxCompute任务，并为您提供丰富的节点调度配置，帮助您灵活设置MaxCompute任务的调度，本文为您介绍创建并管理MaxCompute节点的通用操作指导。前提条件 已创建业务流程...
创建CDH MR节点
引用资源 后，若CDH节点的代码编辑页面出现#resource_reference{""} 格式的语句，表明已成功引用代码资源。此时，需执行下述命令运行作用。命令涉及的资源包、Bucket名称、路径信息等为本文示例内容，使用时，需替换为实际使用的信息。...
使用流程参数
当需要对业务流程中多个节点的同一参数变量统一赋值或替换其参数值时，可使用流程参数功能实现。本文以替换周期业务流程中节点的ReplaceMe参数取值示例，为您介绍流程参数的使用方法。前提条件 已创建业务流程，用于配置流程参数。详情请...
- 产品推荐
- 这些文档可能帮助您