高级应用:实现复杂作业逻辑

使用DataWorks周期性调度MaxCompute作业时,您也可以灵活使用DataWorks已有的通用节点,例如虚拟节点、分支和归并节点、循环类节点等,与MaxCompute的其他节点联合使用可实现更复杂的业务效果,本文为您概要介绍常用的通用节点和典型应用...

云市场API

节点配置 在业务逻辑编辑页面的 节点 中,选择对应功能节点配置业务流,该节点配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线(_),长度不超过30个字符。请求方式 在 阿里云云市场 API购买页,查看...

步骤二:创建控制空调的业务服务

您可在业务逻辑编辑器中拖拽功能节点到画布,配置节点名称、参数等,以可视化的方式开发业务服务。本文介绍创建控制空调业务逻辑的开发过程。前提条件 已完成在项目中创建产品。具体操作,请参见 步骤一:在项目中创建产品。步骤一:创建...

场景1:包含离线同步节点业务流程,如何配置调度...

DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖,包含离线同步节点业务流程,如果下游节点依赖离线同步节点产生的表,您需手动添加产出表到离线同步节点的输出中,下游节点查询离线同步节点数据时,自动解析可以通过表快速...

do-while节点逻辑原理介绍

DataWorks为您提供循环节点(do-while节点),您可根据业务需要重新编排循环节点内部业务流程,将需要循环执行的业务逻辑放入循环节点内部,并通过循环节点内部的End节点来定义循环条件,即确认不满足何种条件的情况下退出循环。循环节点可...

管理能力产品

如果您拖动的节点业务活动,在 业务活动 面板,设置业务活动的 名称、编码、描述(可选填),添加当前业务活动关联的基础能力。添加当前业务活动关联的基础能力。单击 添加。在 添加基础能力 对话框中,选中目标基础能力名称(支持多选...

for-each节点逻辑原理介绍

节点组成与流程编排 DataWorks的for-each节点是包含内部节点的一种特殊节点,您在创建完成for-each节点时,同时也自动创建完成了三个内部节点:Start节点(循环开始节点)、Shell节点(循环任务节点)、End节点(循环结束判断节点),通过...

边缘节点

边缘节点模块主要提供边缘节点的管理运维功能,如添加边缘节点,停用/启动边缘节点,为边缘节点部署应用等。边缘节点的界面如下图所示,显示已添加的边缘节点列表,以及节点的相关信息(包括:节点名称、节点IP地址、实例状态、主机名、...

MongoDB只读节点简介

只读节点与从节点的区别 节点 说明 适用场景 只读节点(ReadOnly)只读节点具有高可用保障,即某个只读节点故障时,系统会自动将其与隐藏节点切换,若未自动切换,您可以自行切换,只读节点的连接地址保持不变。说明 如何切换只读节点和...

nodepool

cms_enabled boolean 是否在 ECS 节点安装云监控,安装后可以在云监控控制台查看所创建 ECS 实例的监控信息,推荐开启。取值:true:在 ECS 节点安装云监控。false:不在 ECS 节点安装云监控。默认值:false。true cpu_policy string...

nodepool

cms_enabled boolean 是否在 ECS 节点安装云监控,安装后可以在云监控控制台查看所创建 ECS 实例的监控信息,推荐开启。取值:true:在 ECS 节点安装云监控。false:不在 ECS 节点安装云监控。默认值:false。true cpu_policy string...

nodepool

cms_enabled boolean 是否在 ECS 节点安装云监控,安装后可以在云监控控制台查看所创建 ECS 实例的监控信息,推荐开启。取值:true:在 ECS 节点安装云监控。false:不在 ECS 节点安装云监控。默认值:false。true cpu_policy string...

依赖关系

如果是业务流程的业务开始节点,您可以选择在业务流程内添加一个虚拟节点作为业务流程的开始节点。虚拟节点的上游可以设置为工作空间根节点。虚拟节点的使用,详情请参见 虚拟节点。为什么在节点A搜索上游节点输出名时,搜索到了节点B不...

任务调度属性配置概述

节点业务流程根节点,或该节点无其他节点依赖时,若您希望快速发布调度任务,可选择设置该节点依赖工作空间根节点。当业务流程包含多个输入或多个输出,或工作空间业务较复杂时,可选择使用 虚拟节点 统筹管理业务流程。例如,通过虚拟...

条件判断

节点配置 在业务逻辑编辑页面的节点列表中,选择对应功能节点配置业务流,条件判断节点配置页面如下图所示。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线(_),长度不超过30个字符。条件配置 单击+条件 添加...

短信

节点配置 在业务逻辑编辑页面的 节点 中,选择对应功能节点配置业务流,短信配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线(_),长度不超过30个字符。授权 单击 授权,进入访问控制RAM控制台,同意...

加工数据

设计业务流程 业务流程节点间依赖关系的配置请参见 采集数据。双击新建的业务流程打开编辑页面,鼠标单击 EMR Hive 并拖拽至右侧的编辑页面。在 新建节点 对话框中,输入 节点名称,单击 提交。此处需要新建3个EMR Hive节点,依次命名为 ...

监控面板说明

NVIDIA Driver Version 表示节点安装的GPU驱动版本。Allocated GPUs 表示节点已分配GPU个数和总的GPU个数。GPU Utilization 表示节点上的GPU的平均利用率,即节点上所有卡的GPU利用率算平均值。Allocated GPU Memory 表示节点已分配的GPU...

节点异常问题排查

本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的监控 检查节点的安全组 常见问题及解决方案 节点关键组件异常处理 ...

节点异常问题排查

本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的监控 检查节点的安全组 常见问题及解决方案 节点关键组件异常处理 ...

路径选择

节点配置 在业务逻辑编辑页面的 节点 中,选择对应功能节点配置业务流,路径选择配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线(_),长度不超过30个字符。输入 路径选择的条件均需与输入的数据源...

最佳实践:文件管理OpenAPI基础实践

本篇文章将详细介绍DataWorks OpenAPI从初始化客户端、创建业务流程以及节点发布上线,再到删除节点业务流程,帮助您快速上手使用DataWorks OpenAPI。背景信息 DataWorks OpenAPI进行数据开发时,整体流程如下图所示。操作步骤 初始化...

云数据库MySQL

节点配置 在业务逻辑编辑页面的 节点 中,选择对应功能节点配置业务流,云数据库MySQL配置页面如下图所示。配置项 说明 节点名称 设置节点名称。支持中文、英文字母、数字和下划线(_),长度不超过30个字符。用户名 填入RDS实例的用户账号...

数据分析

节点配置 在业务逻辑编辑页面的 节点 中,选择对应功能节点配置业务流,数据分析配置页面如下图所示。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线(_),长度不超过30个字符。接口 单击 数据API,选择 物...

CreateClusterNodePool-创建节点

通过节点池,您可以更方便地对节点进行分组管理,例如节点运维、节点配置、开启节点自动弹性伸缩、批量管理、指定调度等。您可以调用CreateClusterNodePool为集群创建节点池。推荐您使用托管节点池,以帮助您自动完成部分节点运维操作,...

CreateClusterNodePool-创建节点

通过节点池,您可以更方便地对节点进行分组管理,例如节点运维、节点配置、开启节点自动弹性伸缩、批量管理、指定调度等。您可以调用CreateClusterNodePool为集群创建节点池。推荐您使用托管节点池,以帮助您自动完成部分节点运维操作,...

Python脚本

编码说明 在业务逻辑编辑页面的 节点 中,选择对应功能节点配置业务流,Python脚本配置页面如下图所示。注意 不支持使用Python代码修改已配置的节点变量、局部变量和全局变量的值。在脚本中,可使用平台已内置的以下节点变量,调用需要的...

配置for-each节点

遍历节点的内部节点获取参数 根据业务需求自定义for-each遍历节点的内部业务流程,并在内部流程的节点中通过内置变量来获取所需参数值,运行循环遍历任务。内置变量的详情请参见 内置变量,配置详情请参见 配置for-each节点。遍历节点不...

数据开发:开发者

本文示例,假设 result_table 节点查询的 bank_data 表为非当前业务流程产出的表数据,则需将工作空间根节点配置为 result_table 节点依赖的上游节点,由根节点调度 result_table 节点运行。(可选)节点上下文 用于定义节点上下游间的参数...

钉钉机器人

钉钉机器人节点可应用在设备消息推送、监控报警、信息公示等多种场景中,支持将设备告警信息、设备属性信息、业务逻辑处理结果等,以定时触发或设备触发等方式推送到钉钉群中。目前,仅支持信息推送,不支持返回消息处理。节点配置 在业务...

查看版本

节点业务流程每次提交成功将生成一个新的版本。您可在版本面板查看历史版本的提交记录、变更类型,也可对比不同版本间的差异,回滚节点业务流程至所需版本。本文以节点版本为例,为您介绍版本的详细内容。业务流程版本的操作类似。进入...

标准架构

节点提供日常服务访问,从节点提供HA高可用,当主节点发生故障,系统会自动在30秒内切换至从节点,保证业务平稳运行。标准架构高可用类型的特点如下:可靠性 服务可靠 采用双机主从(master-replica)架构,主从节点位于不同物理机。主...

数据库代理常见问题

如果删除可读可写模式的集群地址下的只读节点,当删除的只读节点上有正在执行中的请求、事务或临时表时,该集群地址上的业务连接会直接断连。否则,业务无感知。如果删除只读模式的集群地址下的只读节点,该集群地址上的业务连接会直接断连...

附录:DAG图功能介绍

操作 描述 展开父节点/子节点 当一个业务流程有3个及以上节点时,运维中心展示节点时会自动隐藏节点。您可以通过展开父子层级查看全部节点的内容。查看运行日志 查看当前实例正在运行、成功、失败等状态的运行日志。说明 公共调度资源组...

标准版-单副本

架构简介 标准版-单副本采用单个数据库节点部署架构,没有可实时同步数据的备用节点,适用于数据可靠性要求不高的纯缓存业务场景使用。单副本架构具有明显的价格优势,性价比较高。警告 单副本架构不能保障数据可用性和服务连续性,选用前...

架构信息查询导航

节点提供日常服务访问,从节点提供HA高可用,当主节点故障时系统自动秒级切换,从节点接管业务,全程自动且对业务无影响,主从架构保障系统服务具有高可用性。标准架构单副本:采用单个数据库节点部署架构,无高可用功能,适用于纯缓存...

查看业务服务

物联网应用开发(IoT Studio)提供查看业务逻辑服务的功能,包括业务服务基本信息、逻辑配置、监控运维等。帮助您实时掌握业务的运行状态。背景信息 IoT Studio提供已发布和未发布两种发布状态的业务服务:已发布:展示已发布和已发布(未...

执行补数据并查看补数据实例(旧版)

选择需要补数据的节点 区域为您展示的是当前节点及其包含的所有下游节点(包含下游节点的子节点),您可选择当前节点及其下游节点的部分或全部节点任务(包含当前节点)进行补数据。海量节点模式补数据 选择当前节点及下游节点作为本次补...

运维中心概述

依赖的所有父节点实例状态都为成功状态 配置节点依赖关系可以保障节点在运行时能取到正确的数据(读取上游表数据时,上游表的最新数据已产生),避免当前节点读取数据时,上游表数据还未产出,导致当前节点读取数据出现问题,所以,当节点...

找不到任务实例如何处理

此类场景通常发生在创建好节点业务流程后,后期修改了节点的依赖配置,删除了节点的 依赖的上游节点 配置结果后提交发布,导致节点成为孤立节点,无法生成对应的实例。生成实例方式 配置为 T+1次日生成 时:如果您提交发布的时间早于23:...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
边缘节点服务 ENS 云数据库 Redis 版 云服务器 ECS 钉钉会议 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用