同时,数据开发(DataStudio)支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据源。详情请参见 开发前准备:绑定数据源或集群。已拥有 开发 角色权限。授权...
替盘升级单个节点内部的升级逻辑 执行节点排水(并设置节点为不可调度)。ECS关机,即停止节点。更换系统盘,系统盘ID会变更,但是云盘类型、实例IP地址以及弹性网卡MAC地址保持不变。重新初始化节点。重启节点,节点就绪(设置节点为可...
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景:每个工作区都有一个开发场景和一个生产场景,它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点,配置节点任务流程...
替盘升级单个节点内部的升级逻辑 执行节点排水(并设置节点为不可调度)。ECS关机,即停止节点。更换系统盘,系统盘ID会变更,但是云盘类型、实例IP地址以及弹性网卡MAC地址保持不变。重新初始化节点。重启节点,节点就绪(设置节点为可...
本文以一个具体示例,通过for-each节点2次循环遍历赋值节点输出结果,并在每次循环遍历时打印当前循环次数,为您介绍for-each节点的逻辑原理与操作流程。前提条件 在配置节点前,请先了解相关介绍,避免任务配置过程出错。详情请参见 for-...
DataWorks为您提供循环节点(do-while节点),您可根据业务需要重新编排循环节点内部业务流程,将需要循环执行的业务逻辑放入循环节点内部,并通过循环节点内部的End节点来定义循环条件,即确认不满足何种条件的情况下退出循环。循环节点可...
库表视图 图 2.DN视图 左侧直方图:各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区,DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区,其中表示DN节点和逻辑分区的矩形,通过长度表示拥有数据量的多少,长度越长表示数据量越多。...
库表视图 图 2.DN视图 左侧直方图:各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区,DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区,其中表示DN节点和逻辑分区的矩形,通过长度表示拥有数据量的多少,长度越长表示数据量越多。...
通过连线,将 预测-1 节点的 模型结果输入 端口和 预测数据输入 端口分别作为 逻辑回归二分类-1 节点的 逻辑回归模型 端口和 拆分-1 节点的 输出表2 端口的下游节点。单击画布中的 预测-1 节点,在右侧 字段设置 页签,特征列 默认全选,将...
主备节点数 只读节点数 实例节点系数 三节点 无只读节点 1 1只读节点 1.33 2只读节点 1.67 3只读节点 2 4只读节点 2.33 5只读节点 2.67 五节点 无只读节点 1.67 1只读节点 2 2只读节点 2.33 3只读节点 2.67 4只读节点 3 5只读节点 3.33 七...
节点组成与流程编排 DataWorks的for-each节点是包含内部节点的一种特殊节点,您在创建完成for-each节点时,同时也自动创建完成了三个内部节点:Start节点(循环开始节点)、Shell节点(循环任务节点)、End节点(循环结束判断节点),通过...
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
海量模式:如果列表模式无法满足您对下游节点选择的要求(例如节点数量过多,或者需要批量选择某些制定节点),您可以选择海量模式,海量模式将按照筛选条件从当前节点向下查找选中范围内的任务,并依据依赖关系进行编排。适用于需要全局补...
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
对于汇总逻辑表,系统会根据指标的业务相关性原则(引用相同的业务限定或原子指标)、归属同一物化节点的一致性原则,系统提示选中进行补数据的连带字段,提供数据正确性和业务稳定性的保障。例如,指标A和指标B的业务限定相同,当该业务...
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
操作 描述 一键终止 Dataphin自动选中当前文件夹下运行状态为 等待中 和 运行中 的节点、状态为 未运行、运行中 和 等待中 的逻辑表字段及其连带字段执行终止操作。同时对其他运行状态的节点或逻辑表字段无影响。一键重跑失败实例 Dataphin...
['column_name'=>'<string>','value'=>,'comparator'=><ComparatorType>'pass_if_missing'=>true|false 'latest_version_only'=>true|false]CompositeColumnValueFilter结构 CompositeColumnValueFilter是一个树形结构,内节点为逻辑运算...
尝试还原配置项或删除节点重新购买。修改节点时间。可能导致节点上组件工作异常。还原节点时间。Master节点(ACK专有版集群)修改集群内节点安全组。可能导致Master节点不可用。将节点重新添加到集群自动创建的节点安全组中,请参见 安全组...
例如,通过nodeSelector只能将Pod调度到Windows系统的虚拟节点,而无法实现优先调度到Windows虚拟节点,其次调度到Linux虚拟节点的逻辑。ACK Serverless集群基础版 调度方式 典型场景 优先级调度 优先缩容ECI Pod 备注 相关操作文档 ...
DataWorks为您提供函数计算节点,您可通过该节点周期性调度处理事件函数,并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后,才可在DataWorks使用函数计算...
节点配置完成后,您可单击 图标,指定任务运行的资源组并为代码变量赋值常量进行调试运行,测试节点代码逻辑是否正确。配置节点的周期调度属性。DataWorks提供的调度参数,可实现调度场景下代码动态传参。更多调度参数的配置,请参见 调度...
在弹出的编排节点框中,选择目标编排节点进行逻辑编排,完成后单击 保存。关于节点的更多信息,请参见 页面编排设计器内节点说明。说明 以下枚举的配置项都支持新增变量:变量赋值 节点的变量赋值。调用后端服务 节点的入参赋值和结果输出...
DataWorks为您提供函数计算节点,您可通过该节点周期性调度处理事件函数,并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为...
节点分类 节点名称 含义 查询节点 查询节点数量 用户购买的查询节点的数量 查询节点规格 用户购买的查询节点的规格 查询节点服务状态 引擎搭建后查询节点可用状态 数据节点 数据节点数量 用户购买的数据节点的数量 数据节点规格 用户购买的...
根据单节点关联对应资源信息,手动选中已上线的单节点后,系统自动选中该单节点对应的逻辑表。说明 工作组若有创建数据标准、数据源和全局变量,不区分创建方式,默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 单节点 对应...
检测逻辑 使用多节点的MongoDB实例,视为“合规”。使用单节点的MongoDB实例,视为“不合规”。规则详情 参数 说明 规则名称 使用多节点的MongoDB实例 规则标识 mongodb-instance-multi-node 标签 MongoDB,Instance 自动修正 不支持 规则...
检测逻辑 ACK集群节点池开启节点自动伸缩,视为“合规”。未设置节点池的集群,视为“不适用”。规则详情 参数 说明 规则名称 ACK集群节点池开启节点自动伸缩 规则标识 ack-cluster-node-pools-auto-scaling-enabled 标签 ACK,Cluster ...
您也可以单击逻辑表任务节点,查看节点信息,单击 查看节点详情 后,可以查看节点详情、操作日志和节点代码。查看消费链路:查看逻辑表单个字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。您也可以单击下游节点,查看节点...
您也可以单击逻辑表任务节点,查看节点信息,单击 查看节点详情 后,可以查看节点详情、操作日志和节点代码。查看消费链路:查看逻辑表单个字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。您也可以单击下游节点,查看节点...
本章将为您介绍托管平台为您带来的系统自动的健康检查及恢复能力 这里通过一个case来描述平台具备的健康检查能力,假设我们有一个停车管理应用,他是由3个节点组成(tomcat节点提供Web服务及业务逻辑,mysql节点用于存储数据,redis节点...
节点组用于将业务流程内复用率较高的节点进行组合,生成一个节点组,生成的节点组可在其他业务流程中直接引用,引用后该业务流程中即可快速批量克隆节点组内的节点,克隆时节点组中各节点的配置信息保持不变。本文为您介绍如何新建、引用、...
分支节点是DataStudio中提供的逻辑控制系列节点之一。本文将为您介绍如何使用分支节点,在特定时间执行任务的方法。分支节点产生背景 Cron表达式无法实现一个节点需要每个月的最后一天执行的场景,分支节点产生后,您可以套用switch-case...
能力说明 这里通过一个具体case来阐述内部通讯的机制,假设我们有一个停车管理应用,他是由3个节点组成(tomcat节点提供Web服务及业务逻辑,MySQL节点用于存储数据,redis节点用于缓存数据)tomcat的Java代码需要通过jdbc连接上MySQL服务...
计算节点个数 集群实例所购买的计算节点数量,单实例最大支持4096个节点。集群实例的存储空间和计算资源随计算节点数量增加而线性增加。数据分布 MPP架构下,表的数据按分区键存储在不同数据分区上,是全并行计算中的一个计算执行和存储...
Conditions节点 归并节点 Conditions节点的依赖配置中,每一个依赖项和条件关系会转换为DataWorks的一个归并节点(Join)及相关逻辑。Conditions节点依赖配置的最外层逻辑关系会使用两个归并节点(Join)来判断是采用Success还是Failure...
DataWorks为您提供循环节点(do-while节点),您可以重新编排do-while节点内部的业务流程,将需要循环执行的逻辑写在节点内,再编辑end循环判断节点来控制是否退出循环。同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。本文通过...
判断节点是一个承接节点可以根据填槽节点中的槽点变量判断条件,并创建新的分支节点,支持AND和OR条件。分支条件设置 AND条件:AND是同一的条件组,必须满足任意...创建完成判断节点后,就可以根据不同的分支条件创建子节点,形成逻辑分支。
判断节点是一个承接节点可以根据填槽节点中的槽点变量判断条件,并创建新的分支节点,支持AND和OR条件。分支条件设置 AND条件:AND是同一的条件组,必须满足任意...创建完成判断节点后,就可以根据不同的分支条件创建自节点,形成逻辑分支。
三种部署方案的区别 部署方案 多机房 双机房 单机房 节点个数(购买)3 3 3 全能型副本数 3 2 2/3 日志副本数 0 1 1/0 节点个数(用户可见)3 2 2 说明 2F1L 副本方案中的日志副本对用户不可见,因此购买了 3 节点,实际上系统中仅 2 个...