运行及排错
背景信息 在 设置周期和依赖 的操作中，您配置了每周二凌晨2点执行离线同步节点。提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补数据和周期运行三种触发方式，帮助您确认实例运行的定时时间、相互...
实时同步能力说明
使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、提交实时同步节点后，在生产环境运维中心运行该节点。实时同步仅支持运行在独享数据集成资源组上，详情请参见 独享数据集成资源组。实时同步任务不支持同步视图。注意事项 ...
数据开发与运行
不会覆盖之前的节点，未运行的实例会用最新代码运行，不会删除已生成的节点实例。如果调度参数有变化，需要重新生成实例去运行。如何可视化新建表？可以在数据开发，表管理和业务流程内的表容器中建表。如何对生产表添加字段？主账号可以在...
配置数据脱敏
在实时同步节点的编辑页面，鼠标单击 转换>数据脱敏 并拖拽至编辑面板，连线已配置好的输入节点。单击 数据脱敏 节点，在 数据脱敏 对话框中，配置各项参数。新建 脱敏规则：单击 新建脱敏规则，在弹出来的 新建脱敏规则 对话框中选择需要...
do-while节点最佳实践
需要部署一个上游节点，能够把查询出的数据输出给下游节点使用，您可以使用赋值节点实现该条件。循环节点需要能够获取上游赋值节点的输出，您可以通过配置上下文依赖来实现该条件。循环节点的内部节点需要能够引用到每一行的数据，增强已有...
基本概念
任务（Task）任务是对数据执行的操作的定义，示例如下：通过数据同步节点任务，将数据从RDS同步至MaxCompute。通过MaxCompute SQL节点任务，运行MaxCompute SQL来进行数据的转换。每个任务使用0或0个以上的数据表（数据集）作为输入，生成...
MSE Sync迁移方案
请勿使用配置同步方式进行服务及临时节点（ephemeral节点）同步。Eureka Nacos Eureka原生服务类型。此同步实例类型需要将Nacos注册的服务名小写。因为Eureka默认注册的服务名为大写，但通过同步工具MSE Sync将服务同步到Nacos时，默认会将...
使用DataWorks同步数据
创建离线同步节点。展开业务流程，右键单击 数据集成。单击 新建节点>离线同步。在 新建节点 对话框中，输入 名称，并选择 路径。重要 节点名称必须由大小写字母、中文、数字、下划线（_）以及小数点（.）组成，且不能超过128个字符。单击 ...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
问题汇总
AnalyticDB for MySQL类型节点 使用公共资源组运行AnalyticDB for MySQL任务失败，该如何处理？数据库类节点 MySQL节点报错：暂不支持MySQL节点驱动 通用类型节点 For-each，do-while、pai等节点如何在运维中心查看日志 分支节点运行报错：...
配置SQL赋值节点
SQL赋值节点可以将SELECT语句读取的数据赋值给该节点的输出变量，输出变量可以在下一节点中作为输入变量被使用。本文介绍配置SQL赋值节点的方法。背景信息 SQL赋值节点赋予任务流获取表中数据作为下游节点的变量的能力。变量在任务节点中的...
手动扩容集群
选择默认的集群镜像ID 如果打开该开关，会自动查询上次扩容使用的镜像ID，并使用该镜像部署节点。镜像类型、镜像 关闭 选择默认的集群镜像ID 时，需要配置节点使用的镜像。镜像类型支持公共镜像、自定义镜像、共享镜像、镜像市场镜像和社区...
配置 FL 项目
前提条件 在配置 FL 项目前，请确认您已经完成了以下操作：确认已安装、部署节点并完成节点间的授权，并确认该节点使用的引擎类型包含联邦学习引擎。关于如何安装、部署和授权节点，请参见 隐私计算节点。确认已新增 FL 项目所需的数据表。...
任务调度属性配置概述
DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同类型的节点，您可根据业务需要，选择合适的节点使用。详情请参见 通用开发流程。已开启工作空间调度开关。仅当DataWorks工作空间开启 启用调度周期 开关后，...
配置 PSI 项目
前提条件 在配置 PSI 项目前，请确认您已经完成了以下操作：确认已安装、部署节点并完成节点间的授权，并确认该节点使用的引擎类型包含分析引擎。关于如何安装、部署和授权节点，请参见 隐私计算节点。确认已新增 PSI 项目所需的数据表。...
MongoDB只读节点简介
只读节点与主从节点采用一致规格，自动从延迟最低的主节点或从节点同步数据，免去维护的烦恼。独立的只读节点提供只读服务，不占用主节点的资源。增减只读节点的操作，不会对主从节点的业务构成干扰，也不会中断主从节点的连接访问。云数据...
配置 MPC 项目
前提条件 在配置 MPC 项目前，请确认您已经完成了以下操作：确认已安装、部署节点并完成节点间的授权，并确认该节点使用的引擎类型包含训练和预测引擎。关于如何部署、授权节点，请参见 隐私计算节点。确认已新增 MPC 项目所需的数据表。...
HTTP触发器节点
以使用MaxCompute的SQL进行任务计算为例，您可参见 开发ODPS SQL任务，创建完成MaxCompute的SQL计算节点。背景信息 外部调度系统触发任务运行有以下两种典型场景：HTTP触发器节点无其他上游任务节点 此种场景下，您需要创建HTTP触发节点后...
使用节点组
节点组用于将业务流程内复用率较高的节点进行组合，生成一个节点组，生成的节点组可在其他业务流程中直接引用，引用后该业务流程中即可快速批量克隆节点组内的节点，克隆时节点组中各节点的配置信息保持不变。本文为您介绍如何新建、引用、...
节点动态变量配置
配置服务节点时，可使用节点的内置动态变量获取节点上下游数据。本文介绍节点动态变量的配置规则。节点配置参数支持使用如下内置变量来访问服务上下游参数。如图，使用 query.cityId 表示访问第一个节点的cityId参数。变量名 功能 输入格式...
API概览
SyncClusterNodePool 同步节点池 您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。DescribeClusterAttachScripts 查询添加已有节点到集群节点池的脚本 如果需要将已有ECS实例添加到ACK集群中作为...
时间属性配置说明
运行成功或失败后皆不可重跑 如果节点不管运行成功或失败，重跑后都会影响运行结果（例如，某些数据同步节点），可选择使用该重跑类型。说明 当选择该类型时，如果系统出故障，在故障恢复后，系统也不会自动重跑相应节点。不支持配置 出错...
创建集群
如上述网络拓扑图所示，网络配置中涉及的核心网络有以下几类：集群网段：为集群内部使用的网段，用于给计算节点分配IP，为私有网段。监控网络：为用于监控网络连通状态的VPC网络。您进行网络规划和配置时，以上各网段不能冲突。完成网络...
API概览
SyncClusterNodePool 同步节点池 您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。DescribeClusterAttachScripts 查询添加已有节点到集群节点池的脚本 如果需要将已有ECS实例添加到ACK集群中作为...
Serverless常见问题
横向扩展触发条件 当只读节点已经纵向扩展到设定上限，集群中现有的只读节点的CPU使用率或内存使用率仍然满足纵向扩展的条件（CPU使用率高于80%或内存使用率高于90%），则会触发只读节点的横向扩展。资源弹性收缩触发条件 当单节点的CPU...
API概览
SyncClusterNodePool 同步节点池 您可以调用SyncClusterNodePool接口同步集群节点池，包含节点池元数据、节点池内节点信息等。DescribeClusterAttachScripts 查询添加已有节点到集群节点池的脚本 如果需要将已有ECS实例添加到ACK集群中作为...
DescribeClusterNodes-查询集群节点列表
c82e6987e2961451182edacd74faf*instanceIds string 否 节点实例 ID 列表，多值使用英文逗号（,）分隔。i-bp11xjhwkj8k966u*,i-bp1dmhc2bu5igkyq*"nodepool_id string 否 节点池 ID。np*state string 否 集群节点状态，按照集群节点运行...
DescribeClusterNodes-查询集群节点列表
c82e6987e2961451182edacd74faf*instanceIds string 否 节点实例 ID 列表，多值使用英文逗号（,）分隔。i-bp11xjhwkj8k966u*,i-bp1dmhc2bu5igkyq*"nodepool_id string 否 节点池 ID。np*state string 否 集群节点状态，按照集群节点运行...
DescribeClusterNodes-查询集群节点列表
c82e6987e2961451182edacd74faf*instanceIds string 否 节点实例 ID 列表，多值使用英文逗号（,）分隔。i-bp11xjhwkj8k966u*,i-bp1dmhc2bu5igkyq*"nodepool_id string 否 节点池 ID。np*state string 否 集群节点状态，按照集群节点运行...
ListNodes-查询集群中节点列表
单位：GB 1024 UsedResources object 计算节点资源使用量，其他类型节点返回值为空。Gpu integer GPU 卡个数。0 Cpu integer CPU 个数。0 Memory integer 内存资源总量。单位：GB 0 StateInSched string 从调度器查看到的节点状态，不同...
通用开发流程
创建并使用MaxCompute资源 创建并使用自定义函数 创建和使用EMR资源 创建EMR函数 步骤七：编辑节点代码 根据节点类型，在节点编辑页面通过对应引擎与数据库语法编写业务代码。不同节点所使用的语法可能存在差异，具体请以实际使用为准。...
Cloud Controller Manager
定时同步节点标签。此次升级不会对业务造成影响。2021年04月 版本号 镜像地址 变更时间 变更内容 变更影响 v1.9.3.380-gd6d0962-aliyun registry....
开启读写分离功能
背景信息 读写分离功能采用星型复制架构，所有只读节点均从主节点同步数据，数据同步延迟低。所有只读节点均具备容灾功能，可作为备节点进行数据备份，您可以按需选择只读节点数量（范围为1~9），更多信息请参见 读写分离架构。操作步骤 ...
启用节点即时弹性
如果您的集群规模较大（例如弹性节点池中节点数大于100，或弹性节点池数大于20）、对资源交付速度有更高要求、期望灵活实现多实例规格和跨可用区自动伸缩，那么 节点自动伸缩 可能无法满足您扩缩容的需求，推荐您使用 节点即时弹性 功能。...
执行DDL操作提示“获取不到MDL锁”
然后有下列两种情况：所有只读节点同步到最新的复制位点，DDL成功。某些只读节点未同步到最新的复制位点，回滚DDL并报错。此时报错又分为两种情况：一种是等待同步超时的报错；一种是本文档中加锁失败的报错，而某些只读节点加锁失败的主要...
调度至Arm节点
如果您的集群中既有Arm节点，又有非Arm节点（例如x86节点），为了确保只兼容Arm架构的工作负载调度到Arm节点，或多架构镜像优先调度到Arm节点，您可以基于Kubernetes原生调度配置来实现。前提条件 已创建Arm集群或Arm节点池，且集群版本...
启用节点自动伸缩
当集群的容量规划无法满足应用Pod调度时，您可以使用 节点自动伸缩 方案实现节点的自动扩缩。节点自动伸缩 适用于扩容规模较小（例如开启弹性的节点池数量少于20，或对应节点池中的节点数量少于100），工作负载批次较为稳定，以单次伸缩为...
开启读写分离功能
背景信息 读写分离功能采用星型复制架构，所有只读节点均从主节点同步数据，数据同步延迟低。所有只读节点均具备容灾功能，可作为备节点进行数据备份，您可以按需选择只读节点数量（范围为1~9），更多信息请参见 读写分离版。操作步骤 访问...
参数配置及使用节点参数
本文为您介绍如何配置参数及使用节点参数，并以MAX_COMPUTE_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置运行参数的任务，进入 属性 面板。在属性面板...
参数配置及使用节点参数
本文为您介绍如何配置参数及使用节点参数，并以MAX_COMPUTE_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置运行参数的任务，进入 属性 面板。在属性面板...
- 产品推荐
- 这些文档可能帮助您