空间触发
使用空间触发节点，可配置业务服务在指定的地理空间执行。每个业务服务仅支持使用一个触发类型的节点。前提条件 已完成业务服务创建。详细内容，请参见 创建业务服务。节点配置 在业务逻辑编辑页面的 节点>触发 列表中，拖拽 空间触发 节点...
配置同周期调度依赖
依赖某节点同周期指本节点本周期运行，依赖上游节点当前周期的数据产出情况（即任务执行情况），待上游当前周期实例执行成功后，本节点才会运行。通常，若当前任务需依赖上游任务同周期产出的表数据时，可为当前任务设置依赖该上游任务的同...
重启实例或节点
当云数据库MongoDB单节点实例、副本集实例、分片集群实例、分片集群实例中指定节点（任意一个Mongos节点或Shard节点）出现连接数满或性能问题时，您可以手动重启实例或指定节点。注意事项 重启实例期间会启停进程，系统会断开当前所有连接...
导出开源引擎任务
SubProcess节点 虚拟节点 SubProcess节点所在的Process中，转换为DataWorks业务流程时会自动添加Start和End虚拟节点，作为SubProcess的起始和结束节点。SubProcess节点本身转换为DataWorks的虚拟节点，Start节点会依赖该虚拟节点，原先...
数值计算
节点配置 在业务逻辑编辑页面的 节点>功能 列表下，拖拽 数值计算 节点到中间画布中，进行配置。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。数据源 可设置为固定值（静态数值）...
短信
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，短信配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。授权 单击 授权，进入访问控制RAM控制台，同意...
加工数据
业务流程管控：使用 虚拟节点 统筹管理整个业务流程，例如整个用户行为分析画像业务流程调起时间、是否运行等。本案例设置加工任务为日调度任务，并通过指定workshop_start节点实现整个工作流每日00:15开始调度。增量数据加工：使用 调度...
手动扩容集群
E-HPC集群支持手动扩容，当业务发展导致集群计算节点的资源不足时，您可以根据实际需求扩容集群，添加计算节点。前提条件 扩容节点所在地域有可用交换机，关于如何创建交换机，请参见 创建交换机。扩容节点所在地域有足够的ECS实例配额，...
路径选择
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，路径选择配置如下。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。输入 路径选择的条件均需与输入的数据源...
加工数据
业务流程管控：使用 虚拟节点 统筹管理整个业务流程，例如整个用户行为分析画像业务流程调起时间、是否运行等。本案例设置加工任务为日调度任务，并通过指定workshop_start节点实现整个工作流每日00:15开始调度。增量数据加工：使用 调度...
最佳实践：文件管理OpenAPI基础实践
本篇文章将详细介绍DataWorks OpenAPI从初始化客户端、创建业务流程以及节点发布上线，再到删除节点和业务流程，帮助您快速上手使用DataWorks OpenAPI。背景信息 DataWorks OpenAPI进行数据开发时，整体流程如下图所示。操作步骤 初始化...
云数据库MySQL
节点配置 在业务逻辑编辑页面的 节点 中，选择对应功能节点配置业务流，云数据库MySQL配置页面如下图所示。配置项 说明 节点名称 设置节点名称。支持中文、英文字母、数字和下划线（_），长度不超过30个字符。用户名 填入RDS实例的用户账号...
查看并管理基线实例
数据业务产出的核心质量指标是及时性与准确性，您可以按照数据业务的重要程度，用内容保障去定义场景，用时效保障来定义基线。基线一旦建立后，会圈定需要保障的任务或资产，设定保障对象的承诺时间，按照统一规范要求各方来保障数据的及时...
查看节点信息
CPU请求量=SUM（当前节点上所有Pod的CPU请求值）/节点可分配的CPU CPU使用量=SUM（当前节点上所有Pod的CPU实际使用量）/节点可分配的CPU 内存请求量=SUM（当前节点上所有Pod的内存请求值）/节点可分配的内存 内存使用量=SUM（当前节点上...
查看并管理基线实例
数据业务产出的核心质量指标是及时性与准确性，您可以按照数据业务的重要程度，用内容保障去定义场景，用时效保障来定义基线。基线一旦建立后，会圈定需要保障的任务或资产，设定保障对象的承诺时间，按照统一规范要求各方来保障数据的及时...
创建解决方案
背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发。DataWorks通过 工作空间>解决方案>业务流程 三级结构，全新定义开发流程，提升开发体验：...
实例运维常见问题
实例扩容节点期间对业务有什么影响？实例扩容存储空间需要多久，扩容期间对业务有什么影响？开通冷存储需要多久，开通期间对业务有什么影响？扩容冷存储需要多久，扩容期间对业务有什么影响？实例升配需要多久，升配期间对业务有什么影响？...
采集数据
本教程中，由于虚拟节点和同步节点无血缘关系，所以此处通过业务流程 拉线 设置虚拟节点 WorkShop_Start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系，更多依赖关系设置方式，详情请参见 调度依赖...
采集数据
本教程中，由于虚拟节点和同步节点无血缘关系，所以此处通过业务流程 拉线 设置虚拟节点 WorkShop_Start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系，更多依赖关系设置方式，详情请参见 调度依赖...
配置for-each节点
DataWorks为您提供遍历节点（for-each节点），您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。本文以一个具体示例，通过for-each节点2次循环遍历赋值节点输出结果，并在每次循环...
规格容量评估
在购买或升缩配阿里云Elasticsearch集群前，您可以根据本文提供的相对通用的评估方法，初步评估集群所需资源的规格容量，包括节点规格、节点存储空间和节点数量。创建索引前或遇到节点间磁盘使用率差距很大、节点CPU使用率呈现明显的负载不...
任务配置
任务节点说明 下文为您说明各任务节点的配置，您可根据业务需求选择一个或多个节点构建所需任务流。数据导入 数据导入节点的构建流程如下：将系统节点列表中的“数据导入”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：任务名称...
配置离线管道调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度...
变量设置
节点配置 在业务逻辑编辑页面的 节点>数据 列表下，拖拽 变量设置 节点到中间画布中。配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。变量设置 添加待修改的变量。说明 最多可同时...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
离线模式依赖关系配置
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
钉钉机器人
钉钉机器人节点可应用在设备消息推送、监控报警、信息公示等多种场景中，支持将设备告警信息、设备属性信息、业务逻辑处理结果等，以定时触发或设备触发等方式推送到钉钉群中。目前，仅支持信息推送，不支持返回消息处理。节点配置 在业务...
节点资源预留策略
根据可分配资源，您可以为业务Pod设置所需资源（request），节点上所有业务Pod所需资源之和不应该大于节点的可分配资源，否则业务Pod会因节点容量不足而调度失败。ACK为K8s原生的工作负载提供了 资源画像 能力，通过对资源使用量历史数据的...
时间属性配置说明
依赖关系对任务执行时间的影响 任务定时时间基于单个节点维度定义，但任务实际运行时间与节点依赖的上游节点的定时时间有关，所以即便当前节点的定时时间早于上游节点，当前节点仍需等待上游节点的定时时间到来并且执行成功后，当前节点才...
赋值节点
原理介绍 在DataWorks中，节点上下文参数可实现节点参数的上下游传递，赋值节点在此基础上，可将赋值节点最后一条查询结果传递给自带的输出参数（outputs），若下游节点依赖了赋值节点，则下游节点可通过添加输入参数的方式，在节点代码中...
产品名词解释
同义词名词 同义词名词 在生活和业务当中，有很多不同的词语代表着同一种意思，例如：北京、帝都、中国首都。这几个词语都是指同一个城市，那么我们可以通过配置的方式将这些词语指定到一个固定的专有名词下面。反问 反问 填槽节点中，必填...
配置离线管道调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 ...
产品名词解释
同义词名词 同义词名词 在生活和业务当中，有很多不同的词语代表着同一种意思，例如：北京、帝都、中国首都。这几个词语都是指同一个城市，那么我们可以通过配置的方式将这些词语指定到一个固定的专有名词下面。反问 反问 填槽节点中，必填...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置依赖上一周期（跨周期依赖）
依赖上一周期指本节点本次实例运行，依赖相应节点上一周期实例的运行情况，待上一周期实例运行成功后，本节点才会运行。通常，若本节点需依赖上游昨天产出的数据，或小时、分钟任务依赖自己上一小时或分钟实例，可设置跨周期依赖。本文为您...
MQTT订阅
节点配置 在业务逻辑编辑页面的 节点>触发 列表中，拖拽 MQTT订阅 节点到中间画布进行节点配置，如图所示 配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。监听Topic 单击+Topic 新增...
概述
任务中心对 数据资源平台 中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。...查看补数据计划：支持查看补数据的运行状态、节点类型、业务日期，以及查看对应节点的运维信息，包括实例信息、任务代码、实例日志。
启用节点自动伸缩
阅读前提示 为了让您更好地使用 节点自动伸缩 功能，建议您在阅读本文档前，已阅读 节点伸缩概述 并了解以下内容：节点自动伸缩 的工作原理与功能特性 哪些业务场景下，节点自动伸缩 可以满足您的业务诉求 使用 节点自动伸缩 前需要了解的...
任务中心
任务中心对数据资源平台中的数据同步、数据开发、标签加工等任务和实例进行运维管理。...查看补数据计划：支持查看补数据的运行状态、节点类型、业务日期，以及查看对应节点的运维信息，包括实例信息、任务代码、实例日志。
- 产品推荐
- 这些文档可能帮助您