通用开发流程
同时，数据开发（DataStudio）支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据源。详情请参见 开发前准备：绑定数据源或集群。已拥有 开发 角色权限。授权...
公共节点
背景信息 计算节点是用于定义不同数据类型处理逻辑的节点，而公共节点是可组成数据加工场景且能被多次复用的计算节点。公共场景支持计算引擎，提供节点统一定义、版本管理功能，提供在各个数据加工场景中跨存储/计算平台复用的能力，通过...
升级节点池
替盘升级单个节点内部的升级逻辑 执行节点排水（并设置节点为不可调度）。ECS关机，即停止节点。更换系统盘，系统盘ID会变更，但是云盘类型、实例IP地址以及弹性网卡MAC地址保持不变。重新初始化节点。重启节点，节点就绪（设置节点为可...
将节点容器运行时从Docker迁移到containerd
替盘升级单个节点内部的升级逻辑 执行节点排水（并设置节点为不可调度）。ECS关机，即停止节点。更换系统盘，系统盘ID会变更，但是云盘类型、实例IP地址以及弹性网卡MAC地址保持不变。重新初始化节点。重启节点，节点就绪（设置节点为可...
业务逻辑编辑器
业务逻辑开发工具帮助您在业务逻辑编辑器中，通过编排服务节点的方式，快速完成简单的物联网业务逻辑设计。创建业务服务 创建项目。具体操作，请参见 普通项目。在项目 主页，项目开发 下，单击 业务逻辑 页签。单击应用列表上方的 新建>...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
配置for-each节点
本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环遍历时打印当前循环次数，为您介绍for-each节点的逻辑原理与操作流程。前提条件 在配置节点前，请先了解相关介绍，避免任务配置过程出错。详情请参见 for-...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
do-while节点逻辑原理介绍
DataWorks为您提供循环节点（do-while节点），您可根据业务需要重新编排循环节点内部业务流程，将需要循环执行的业务逻辑放入循环节点内部，并通过循环节点内部的End节点来定义循环条件，即确认不满足何种条件的情况下退出循环。循环节点可...
数据建模
通过连线，将 预测-1 节点的 模型结果输入 端口和 预测数据输入 端口分别作为 逻辑回归二分类-1 节点的 逻辑回归模型 端口和 拆分-1 节点的 输出表2 端口的下游节点。单击画布中的 预测-1 节点，在右侧 字段设置 页签，特征列 默认全选，将...
查看并管理已生成实例
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
查看并管理已生成实例
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
过滤器
['column_name'=>'<string>','value'=>,'comparator'=><ComparatorType>'pass_if_missing'=>true|false 'latest_version_only'=>true|false]CompositeColumnValueFilter结构 CompositeColumnValueFilter是一个树形结构，内节点为逻辑运算...
查看并管理已提交实例
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
查看并管理已提交实例
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
for-each节点逻辑原理介绍
节点组成与流程编排 DataWorks的for-each节点是包含内部节点的一种特殊节点，您在创建完成for-each节点时，同时也自动创建完成了三个内部节点：Start节点（循环开始节点）、Shell节点（循环任务节点）、End节点（循环结束判断节点），通过...
新建补数据任务
海量模式：如果列表模式无法满足您对下游节点选择的要求（例如节点数量过多，或者需要批量选择某些制定节点），您可以选择海量模式，海量模式将按照筛选条件从当前节点向下查找选中范围内的任务，并依据依赖关系进行编排。适用于需要全局补...
虚拟节点调度方案对比及介绍
例如，通过nodeSelector只能将Pod调度到Windows系统的虚拟节点，而无法实现优先调度到Windows虚拟节点，其次调度到Linux虚拟节点的逻辑。ACK Serverless集群基础版 调度方式 典型场景 优先级调度 优先缩容ECI Pod 备注 相关操作文档 ...
周期任务补数据
对于汇总逻辑表，系统会根据指标的业务相关性原则（引用相同的业务限定或原子指标）、归属同一物化节点的一致性原则，系统提示选中进行补数据的连带字段，提供数据正确性和业务稳定性的保障。例如，指标A和指标B的业务限定相同，当该业务...
节点池概述
通过节点池，您可以更方便地对节点进行分组管理，例如节点运维、节点配置、开启节点自动弹性伸缩、批量管理、指定调度等。本文介绍节点池的概念、节点池与托管节点池对比、节点池功能、计费、相关术语、生命周期等。节点池概念 为了帮助您...
通过函数计算节点发送邮件
节点配置完成后，您可单击 图标，指定任务运行的资源组并为代码变量赋值常量进行调试运行，测试节点代码逻辑是否正确。配置节点的周期调度属性。DataWorks提供的调度参数，可实现调度场景下代码动态传参。更多调度参数的配置，请参见 调度...
在DataWorks中通过函数计算节点发送邮件
节点配置完成后，您可单击 图标，指定任务运行的资源组并为代码变量赋值常量进行调试运行，测试节点代码逻辑是否正确。配置节点的周期调度属性。DataWorks提供的调度参数，可实现调度场景下代码动态传参。更多调度参数的配置，请参见 调度...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
可视化编排页面
在弹出的编排节点框中，选择目标编排节点进行逻辑编排，完成后单击 保存。关于节点的更多信息，请参见 页面编排设计器内节点说明。说明 以下枚举的配置项都支持新增变量：变量赋值 节点的变量赋值。调用后端服务 节点的入参赋值和结果输出...
代码评审
您可根据任务所在的基线优先级来选择要强制进行代码评审的节点，逻辑说明如下：设置基线评审范围为非基线任务时，当前工作空间中新建的任务需要审批。设置基线评审范围为对应级别的基线任务时，当前工作空间中该级别基线上的节点提交时需要...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
使用多节点的MongoDB实例
检测逻辑 使用多节点的MongoDB实例，视为“合规”。使用单节点的MongoDB实例，视为“不合规”。规则详情 参数 说明 规则名称 使用多节点的MongoDB实例 规则标识 mongodb-instance-multi-node 标签 MongoDB，Instance 自动修正 不支持 规则...
ACK集群节点池开启节点自动伸缩
检测逻辑 ACK集群节点池开启节点自动伸缩，视为“合规”。未设置节点池的集群，视为“不适用”。规则详情 参数 说明 规则名称 ACK集群节点池开启节点自动伸缩 规则标识 ack-cluster-node-pools-auto-scaling-enabled 标签 ACK，Cluster ...
健康检查及自动恢复
本章将为您介绍托管平台为您带来的系统自动的健康检查及恢复能力 这里通过一个case来描述平台具备的健康检查能力，假设我们有一个停车管理应用，他是由3个节点组成（tomcat节点提供Web服务及业务逻辑，mysql节点用于存储数据，redis节点...
按单节点关联
根据单节点关联对应资源信息，手动选中已上线的单节点后，系统自动选中该单节点对应的逻辑表。说明 工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 单节点 对应...
应用内部通讯
能力说明 这里通过一个具体case来阐述内部通讯的机制，假设我们有一个停车管理应用，他是由3个节点组成（tomcat节点提供Web服务及业务逻辑，MySQL节点用于存储数据，redis节点用于缓存数据）tomcat的Java代码需要通过jdbc连接上MySQL服务...
管理明细及汇总表任务字段
您也可以单击逻辑表任务节点，查看节点信息，单击 查看节点详情 后，可以查看节点详情、操作日志和节点代码。查看消费链路：查看逻辑表单个字段被依赖的情况，以便您运维该字段时，分析对下游节点的影响。您也可以单击下游节点，查看节点...
管理明细及汇总表任务字段
您也可以单击逻辑表任务节点，查看节点信息，单击 查看节点详情 后，可以查看节点详情、操作日志和节点代码。查看消费链路：查看逻辑表单个字段被依赖的情况，以便您运维该字段时，分析对下游节点的影响。您也可以单击下游节点，查看节点...
使用节点组
节点组用于将业务流程内复用率较高的节点进行组合，生成一个节点组，生成的节点组可在其他业务流程中直接引用，引用后该业务流程中即可快速批量克隆节点组内的节点，克隆时节点组中各节点的配置信息保持不变。本文为您介绍如何新建、引用、...
分支节点实现特定时间执行任务
分支节点是DataStudio中提供的逻辑控制系列节点之一。本文将为您介绍如何使用分支节点，在特定时间执行任务的方法。分支节点产生背景 Cron表达式无法实现一个节点需要每个月的最后一天执行的场景，分支节点产生后，您可以套用switch-case...
判断节点
判断节点是一个承接节点可以根据填槽节点中的槽点变量判断条件，并创建新的分支节点，支持AND和OR条件。分支条件设置 AND条件：AND是同一的条件组，必须满足任意...创建完成判断节点后，就可以根据不同的分支条件创建子节点，形成逻辑分支。
判断节点
判断节点是一个承接节点可以根据填槽节点中的槽点变量判断条件，并创建新的分支节点，支持AND和OR条件。分支条件设置 AND条件：AND是同一的条件组，必须满足任意...创建完成判断节点后，就可以根据不同的分支条件创建自节点，形成逻辑分支。
导出开源引擎任务
Conditions节点 归并节点 Conditions节点的依赖配置中，每一个依赖项和条件关系会转换为DataWorks的一个归并节点（Join）及相关逻辑。Conditions节点依赖配置的最外层逻辑关系会使用两个归并节点（Join）来判断是采用Success还是Failure...
配置do-while节点
DataWorks为您提供循环节点（do-while节点），您可以重新编排do-while节点内部的业务流程，将需要循环执行的逻辑写在节点内，再编辑end循环判断节点来控制是否退出循环。同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。本文通过...
- 产品推荐
- 这些文档可能帮助您