删除或变更节点输出的影响
若业务调整，导致节点不再产出表A数据时，您需确认表A数据从哪个节点产出，并且为下游节点B重新配置产出表A数据的节点依赖。示例：上游产出表变更，导致下游依赖丢失 示例 Node_A 产出表A数据，下游节点 Node_B 需对表A的数据进行加工，...
配置基础属性
参数 描述 名称 新建数据开发节点时输入的节点名称，不可以修改。节点ID 数据开发节点提交后会生成唯一的节点ID，不可以修改。节点类型 新建数据开发节点时选择的节点类型，不可以修改。责任人 数据开发节点的责任人。默认为当前登录用户，...
各类型节点自动解析场景
节点类型 代码命令 自动解析 调度依赖配置规则 ODPS节点 CREATE INSERT 当节点代码中出现此类输出命令时，会自动为节点添加一条本节点输出配置内容。为节点自动添加的本节点输出命名规则为 odps_project_name.table_name。其中：odps_...
提交节点报错：当前节点依赖的父节点输出名不存在
对于大部分场景，DataWorks可通过自动解析，自动将产出表添加为节点的本节点的输出，但是对于一些特殊的节点，DataWorks不支持使用自动解析。离线节点、AnalyticDB for PostgreSQL节点、AnalyticDB for MySQL节点、EMR节点不支持通过自动...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
跨业务流程配置调度依赖 下游业务流程中的节点依赖上游业务流程中某节点的节点输出即可实现跨业务流程依赖，下面以多分支结果的业务流程实现跨业务流程依赖为例说明如何设置跨业务流程节点依赖关系。包含多个分支结果的业务流程如果要实现...
时间属性配置说明
任务执行时，超过了超时时间导致的节点失败，自动重跑配置将不生效。生效日期 调度节点在有效日期内生效并自动调度，超过有效期的任务将不会自动调度。此类任务为过期任务，您可在 运维大屏 查看过期任务数量，并根据情况对其做下线等处理...
DescribeClusterMemberInfo-查询集群的节点配置信息
查询Redis集群实例的节点配置信息（例如规格、最大连接数等）。接口说明 说明 本接口仅适用于 云盘版实例（集群架构）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
DescribeClusterMemberInfo-查询集群的节点配置信息
查询Redis集群实例的节点配置信息（例如规格、最大连接数等）。接口说明 说明 本接口仅适用于 云盘版实例（集群架构）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
升级节点配置
大数据型和本地SSD型ECS实例不支持升级配置。节点组内的ECS实例仅支持升级配置，不支持降低配置。操作步骤 进入节点管理页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击目标集群操作列的 节点管理。在 ...
赋值节点
原理介绍 在DataWorks中，节点上下文参数可实现节点参数的上下游传递，赋值节点在此基础上，可将赋值节点最后一条查询结果传递给自带的输出参数（outputs），若下游节点依赖了赋值节点，则下游节点可通过添加输入参数的方式，在节点代码中...
开发PyODPS 2任务
o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发，请参考：PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...
函数计算节点
开启代码评审后，开发人员提交的节点代码必须通过评审人员的审核才可发布，详情请参见 代码评审。为保障调度节点任务执行符合预期，建议您在发布前对任务进行冒烟测试，详情请参见 冒烟测试。可选：发布节点。如果您使用的是标准模式的工作...
HTTP触发器节点
业务流程创建完成正常运行后，如果您想获取触发器节点的下游任务节点的历史时间段的运行结果，您可参见 执行补数据并查看补数据实例 进行补数据操作。补数据操作时无需外部调度系统下发调度指令，HTTP触发器节点会直接触发下游节点运行，即...
快速使用ClickHouse
因为数据是随机写入的，各节点数据量可能不同。查看core-1-1节点 demo.hits_all 的数据量。select count(*)from demo.hits_all;查看core-1-1节点 demo.hits_local 的数据量。select count(*)from demo.hits_local;查看core-1-2节点 demo....
TopTenErrorTimesInstance
常用的类型如下：6（Shell）、10（ODPS SQL）、11（ODPS MR）、23（数据集成）、24（ODPS Script）、99（虚拟节点）、221（PyODPS 2）、225（ODPS Spark）、227（EMR Hive）、228（EMR Spark）、229（EMR Spark SQL）、230（EMR MR）、239...
加工数据
选择 提交 对话框中需要提交的节点，勾选 忽略输入输出不一致的告警。单击 提交。在生产环境运行任务 任务发布成功后，单击右上角的 运维中心。您也可以进入业务流程的编辑页面，单击工具栏中的 前往运维，进入 运维中心 页面。单击左侧...
创建EMR Shell节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
ListInnerNodes
TotalCount Integer 100 符合条件的节点总数。Nodes Array of Nodes 内部节点列表。SchedulerType String NORMAL 调度的类型，取值如下：NORMAL：正常调度任务。MANUAL：手动任务，不会被日常调度。PAUSE：暂停任务。SKIP：空跑任务，被...
多租户和资源划分
Online资源组主要用于高并发低延迟的在线数据服务，而一些大查询或离线ETL操作，则可以使用Offline资源组中的节点执行。从而实现在统一集群内同时提供在线和离线服务的能力。导入作业的资源组分配。导入作业（包括Insert、Broker Load、...
ListNodesByOutput
常用的节点类型如下：6（Shell）、10（ODPS SQL）、11（ODPS MR）、23（数据集成）、24（ODPS Script）、99（虚拟节点）、221（PyODPS 2）、225（ODPS Spark）、227（EMR Hive）、228（EMR Spark）、229（EMR Spark SQL）、230（EMR MR）、...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
FTP Check节点
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
场景：节点成环
场景示例：如下图场景，若上游节点A查询表C数据并产出表A数据，下游节点B对表A数据进行清洗写入表B，紧接着节点C对表B数据进行清洗又重新写回表C，这种情况下自动解析会生成环。解决方案：分析业务流程，去除成环依赖。如下图案例，如果...
实例指标
实例指标包含查询节点、数据节点-查询相关、数据节点-实例相关、数据节点-数据处理四块的监控数据。指标项说明 指标项说明 QRS（查询节点）指标项 含义 qps 查询节点的qps emptyQps 查询结果为空的qps errorQps 查询报错的qps（包括语法...
下线节点
报错：节点存在子节点，导致任务删除或下线失败 如何下线节点 如果您使用的是标准模式工作空间，则开发环境和生产环境隔离，在DataWorks的数据开发（DataStudio）删除节点时，只删除了开发环境的节点，生产环境的节点需将删除操作发布至...
场景：节点孤立
说明 在DataWorks上，除了工作空间根节点外，自定义的每个周期调度的节点都需要有父节点依赖才可以被正常调度运行。如何处理孤立节点？场景 描述 解决方案 上下游节点实例生成方式不一致。当上下游均为新建节点时，上游实例生成方式为 T+1 ...
ListNodes
TotalCount Integer 66 符合条件的节点总数。Nodes Array of Nodes 节点的信息。SchedulerType String NORMAL 调度的类型，取值如下：NORMAL：正常调度任务。PAUSE：暂停任务。SKIP：空跑任务，被日常调度，但启动调度时直接被置为成功。...
ES实例节点配置说明
数据节点 数据节点是存储索引数据的节点，主要对文档进行增删改查、聚合等操作。数据节点对CPU、内存和IO要求较高，在优化集群性能时需要监控数据节点的状态。当资源不足时，建议在集群中添加新的数据节点。说明 如果实例中有专有主节点，...
虚拟节点
虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...
存储空间分析
数仓版（3.0）预留模式集群与 弹性模式集群版（新版）集群、湖仓版（3.0）集群查看的 总数据量 指标不同，预留模式集群不支持冷热数据分离，因此仅能在 总数据量 指标中查看 总数据量、平均节点数据量 和 最大节点数据量 指标。弹性模式...
修复单台JournalNode异常
在EMR控制台停止HDFS异常节点上的JournalNode服务，并登录到异常JournalNode所在的节点，尝试恢复JournalNode。切换到hdfs用户。su hdfs 备份旧的current目录。cd/mnt/disk1/hdfs/journal/emr-cluster/mv current current.bak 恢复...
解读实例诊断报告
某个数据节点存在较多的大Key。某个数据节点存在热点Key。设置的Hash Tag不合理。说明 当某些Key的Hash Tag设置相同时，这些Key会被存储在同一数据节点中。如果大量的Key设置相同的Hash Tags将会导致数据集中在某个节点。实时Top Key统计 ...
解读实例诊断报告
某个数据节点存在较多的大Key。某个数据节点存在热点Key。设置的Hash Tag不合理。说明 当某些Key的Hash Tag设置相同时，这些Key会被存储在同一数据节点中。如果大量的Key设置相同的Hash Tags将会导致数据集中在某个节点。离线全量Key分析 ...
创建并使用PAI Studio节点
机器学习节点用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。前提条件 您需要在机器学习平台创建机器学习实验后，才可以在DataWorks中进行添加。本文以心脏病预测案例实验为例，为您介绍如何加载机器学习实验至...
各类型节点的调度参数配置示例
各节点是否支持使用调度参数，详情请参考具体的节点文档。如上图，在参数赋值区域为参数赋值，然后进入代码调用区域引用系统内置变量var1、var3，自定义参数var2、var4，常量var5。赋值示例如下：系统内置变量var1赋值取业务时间：var1=$...
配置字符串替换
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
预览依赖关系
预览节点依赖 DataWorks根据节点的依赖配置，为您生成上下游节点的依赖关系图，您可基于该图检查调度依赖配置是否符合预期。说明 单击任意节点，即可查看该节点的详细信息。预览实例依赖 若在一个调度日内，您的周期任务会产生多个周期实例...
数据倾斜诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据倾斜功能，可以每小时定期自动诊断数据库内的所有表，并生成相应的诊断信息表，供您检测库内所有表的倾斜情况。注意事项 智能诊断数据倾斜功能仅支持存储弹性模式实例，且内核版本须满足以下...
ListFileType
NodeTypeInfoList Object 返回的节点类型信息列表。PageNumber Integer 1 当前数据页的页码。PageSize Integer 50 当前数据页显示的数据条数。TotalCount Integer 127 满足查询条件的数据总条数。NodeTypeInfo Array of NodeTypeInfo 单个...
GetNodeCode
调用GetNodeCode获取节点的代码。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetNodeCode ...
- 产品推荐
- 这些文档可能帮助您