指标含义与异常处理建议
在集群上执行过Merge操作 Merge操作会消耗CPU资源，对应节点的Segment Count会突降，可在 Kibana控制台 中节点的 Overview 页面查看。执行过gc操作 gc操作会尝试释放内存（例如full gc），消耗CPU资源，可能会导致CPU使用率突增，影响查询...
部署隐私计算节点
docker network create-d overlay-subnet 11.0.0.0/8-attachable nueva-exchange 登录集群中另一台节点客户端，执行以下命令，将当前节点配置成 Worker 节点。{TOKEN} 为本节步骤 1 获取到的 Token 值。docker swarm join-token${TOKEN} ...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
跨业务流程配置调度依赖 下游业务流程中的节点依赖上游业务流程中某节点的节点输出即可实现跨业务流程依赖，下面以多分支结果的业务流程实现跨业务流程依赖为例说明如何设置跨业务流程节点依赖关系。包含多个分支结果的业务流程如果要实现...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
CreateGadInstanceMember-创建Gad实例成员
该接口用于在RDS全球多活数据库集群中添加节点。接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。添加或移除单元节点 调试 您可以在...
for-each节点逻辑原理介绍
节点组成与流程编排 DataWorks的for-each节点是包含内部节点的一种特殊节点，您在创建完成for-each节点时，同时也自动创建完成了三个内部节点：Start节点（循环开始节点）、Shell节点（循环任务节点）、End节点（循环结束判断节点），通过...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
配置离线管道调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度...
边缘节点池管理概述
节点池管理方案 针对以上场景，容器服务 Edge 版 提出了如下图所示解决方案。节点池节点管理：针对节点分组抽象了节点池的概念，以节点池视角对不同边缘区域下的主机进行统一管理和运维。节点池应用集管理：使用新的工作负载模型应用集...
配置离线管道调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 ...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
CreateGADInstance-创建GAD实例
rm-uf6wjk5*DBList string 是 中心节点中数据库信息的 JSON 数组，该数组中所有数据库信息将同步至当前单元节点（备节点）。参数说明：name：数据库名称。all：是否同步当前库或表中的所有数据。取值：true|false Table：表名称。若 all ...
CreateGADInstance-创建GAD实例
rm-uf6wjk5*DBList string 是 中心节点中数据库信息的 JSON 数组，该数组中所有数据库信息将同步至当前单元节点（备节点）。参数说明：name：数据库名称。all：是否同步当前库或表中的所有数据。取值：true|false Table：表名称。若 all ...
配置离线任务调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍调度依赖实现流程与主要配置原则。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务节点运行...
配置离线任务调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍调度依赖实现流程与主要配置原则。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务节点运行...
高级应用：实现复杂作业逻辑
使用DataWorks周期性调度MaxCompute作业时，您也可以灵活使用DataWorks已有的通用节点，例如虚拟节点、分支和归并节点、循环类节点等，与MaxCompute的其他节点联合使用可实现更复杂的业务效果，本文为您概要介绍常用的通用节点和典型应用...
场景2：依赖上一周期的结果时，如何配置调度依赖
业务场景：业务逻辑上需要依赖1000374815节点正常产出的业务数据，但本节点（xc_create）中没有操作该业务数据（没有select1000374815节点产出的结果表）。xc_create节点依赖的上游自定义选择1000374815节点。您可以进入 运维中心>周期任务...
HTTP返回
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，HTTP返回节点配置页面如下图所示。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。输出 设置API返回参数为：...
安装并部署节点
参数 说明 通讯线路 单击 通讯线路 后面的编辑图标，根据您的实际业务需求，选择机构节点访问平台侧的方式，分为公网或者专线：公网：访问平台侧的公网 IP 地址，该 IP 地址由平台自动分配。专线：访问平台侧的私网 IP 地址，可联系技术...
最佳实践：文件管理OpenAPI基础实践
本篇文章将详细介绍DataWorks OpenAPI从初始化客户端、创建业务流程以及节点发布上线，再到删除节点和业务流程，帮助您快速上手使用DataWorks OpenAPI。背景信息 DataWorks OpenAPI进行数据开发时，整体流程如下图所示。操作步骤 初始化...
项目内API
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，该节点配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。API 选择项目中已部署的API。选择API后，可...
自定义API
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，该节点配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。请求方式 自定义API的请求方法支持POST和GET...
ES实例节点配置说明
冷数据节点 如果您的业务中同时存在以下2种类型的数据索引，建议购买冷数据节点分离冷热数据。冷热集群架构可以提高集群的处理性能和服务稳定性。查询频率高或写入压力大的索引。查询频率低基本无写入的索引（通常为历史数据索引）。更多...
加工数据
本文将为您介绍如何通过DataWorks中的EMR Hive节点加工采集的日志数据。前提条件 开始本实验前，请首先完成 采集数据 中的操作。创建函数 上传资源 下载 ip2region-emr.jar。在 数据开发 页面打开WorkShop业务流程，右键单击 EMR，选择 ...
数据开发与运行
当业务流程中包含多个节点时，是否可以批量配置节点的调度信息？如何克隆业务流程？表 如何可视化新建表？如何对生产表添加字段？如何删除表？如何将本地数据上传到MaxCompute表中？为什么EMR通过DataWorks可视化建表失败报错：call emr ...
数据分析
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，数据分析配置页面如下图所示。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。接口 单击 数据API，选择 物...
数据开发常见问题
当业务流程中包含多个节点时，是否可以批量配置节点的调度信息？如何克隆业务流程？如何对节点、资源、函数等进行相关批量修改相关属性的操作？如何在数据开发页面批量修改业务流程下节点使用的调度资源组？API调用 Openapi调用报错access ...
调度依赖配置指引
依赖虚拟节点 当工作空间中业务流程较多或较复杂时，您可通过 虚拟节点 管理该业务流程，将需要统一管控的节点挂载依赖至某虚拟节点，使工作空间下数据流转路径更加清晰。例如，控制业务流程整体调度时间、控制业务流程整体调度与冻结（即...
选型配置说明
Utility节点的选型 在一个集群中仅需部署一台工具节点，工具节点主要用于部署CM（CDP的管控），以及Hive Metastore，Hue以及集群的元数据信息。针对高可用集群，工具节点还会用于部署HDFS 的JournalNode以及ZooKeeper的Server。针对高安全...
路径选择
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，路径选择配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。输入 路径选择的条件均需与输入的数据源...
do-while节点最佳实践
do-while循环节点的内部节点获取参数 根据业务需求自定义do-while循环节点的内部业务流程，并在内部流程的节点中通过变量来获取所需参数值。创建并配置赋值节点 核心操作要点为：赋值代码与上下文参数：选择赋值节点的赋值语言，并通过命令...
Python脚本
编码说明 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，Python脚本配置页面如下图所示。注意 不支持使用Python代码修改已配置的节点变量、局部变量和全局变量的值。在脚本中，可使用平台已内置的以下节点变量，调用需要的...
Node.js脚本
编码说明 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，Node.js脚本配置页面如下图所示。使用动态参数。在脚本中，可使用平台已内置的以下节点变量，调用需要的数据：payload，来自上个节点的输出数据。通过 payload.对象中...
配置依赖上一周期（跨周期依赖）
本节点本次实例运行，在业务逻辑上需要依赖其它业务的数据，但本节点中不包含涉及其他业务数据的相关操作。依赖上一周期：本节点（自依赖）本节点本次实例运行，取决于本节点上一周期业务数据的产出情况。任务的依赖设置及依赖关系示例如下...
产品定价
Master资源 AnalyticDB PostgreSQL版 中Master节点主要负责接收业务请求、查询优化、任务分发、元信息管理和事务管理等任务。AnalyticDB PostgreSQL版 的Master节点以Master CU（Master Compute Unit）为标准单位，并提供了更多的规格供...
钉钉机器人
钉钉机器人节点可应用在设备消息推送、监控报警、信息公示等多种场景中，支持将设备告警信息、设备属性信息、业务逻辑处理结果等，以定时触发或设备触发等方式推送到钉钉群中。目前，仅支持信息推送，不支持返回消息处理。节点配置 在业务...
为容器节点扩容系统盘
通过扩容容器节点的系统盘，可以帮您解决集群中节点系统盘水位告急、节点规格偏小等影响节点稳定运行的问题。本文介绍如何为容器节点扩容系统盘。步骤一：确定当前磁盘大小和分区 登录节点宿主机。执行以下命令，查看节点当前容器进程挂载...
RunManualDagNodes
如果内部节点（支持的节点类型）的调度参数引用了DagParameters中的业务流程参数，则节点的对应参数值会被替换为DagParameter中的业务流程参数。IncludeNodeIds String 否 74324,74325 如果需要运行手动业务流程里的部分节点，可输入相应...
- 产品推荐
- 这些文档可能帮助您