Dataphin执行Spark_jar_on_hive任务变量拼接有空格
问题描述 新建Spark_jar_on_hive任务，执行结果中任务变量拼接由空格。问题原因 这个是sparkJarOnHiveOperator，解析逻辑是split后拼接成spark-submit命令，但是这个用户是在写Shell，如果是Shell的话,需要使用ShellOperator。解决方案 ...
UpdateTaskTimeVariables-更新任务时间变量
更新任务时间变量。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Tid ...
UpdateTaskFlowTimeVariables-更新任务流时间变量
调用UpdateTaskFlowTimeVariables接口，更新任务流时间变量。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求...
ListTaskFlowTimeVariables-获取任务流时间变量列表
调用ListTaskFlowTimeVariables接口，获取任务流时间变量列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
UpdateTaskOutput-更新任务节点的输出变量
调用UpdateTaskOutput接口，更新任务节点的输出变量。接口说明 仅单实例 SQL 赋值、脚本代码、ECS 远程命令任务节点具有输出变量。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
Dataphin脚本任务直接查询表名称可以查询增加通用变量...
问题描述 Dataphin脚本任务直接查询表名称可以查询增加通用变量${项目名称}后提示表不存在。问题原因 项目名称的参数在开发环境查询的时候默认是没有添加_dev后缀的，而直接查询表名称查询的是开发环境的表，需要注意看弹出的参数框或者看...
变量
时间变量 任务流变量（全局变量）：任务流变量基于业务时间（运行时间的前一天）进行偏移，在当前任务流的所有节点都可使用。说明 您可以给任务流中的任一节点设置任务流变量，其他节点会自动同步该设置。节点变量：定义时间变量的方式是...
TargetURI模板
25 特定算子变量 CreateOfficeConversionTask-创建文档转换任务 变量名 说明 样例 index 输出下标，从1开始。输入文件为Word、PDF、PPT时，表示页码。输入文件为Excel时，表示sheetindex_sheetsubindex。sheetindex：从1开始，表示需要转换...
任务编排
步骤二：配置任务流变量 任务流变量为时间变量，可在所有节点中使用，使用格式为${变量名}。在本文示例场景中，需要周期性地迁移test表中6个月前的数据，则需要配置时间变量作为筛选条件在SQL语句中使用。本示例以 yearmonth6_name 和 ...
产品更新动态
任务导出文件中任务详情数据展示优化 承接语开关在创建时打开 标注任务完成按钮优化 停止任务，振铃或通话中的电话完结后的作业状态根据实际情况判断，不变更为已取消 2022年6月22日-V3.1 本次版本更新中，智能VUI能力开启内测，新增智能...
概述
数据管理DMS 的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务...配置任务流依赖检查节点 相关文档 变量 任务编排之电商打标 通过任务编排实现跨库数据同步 通过跨库Spark SQL任务将数据同步到OSS
实时模式变量配置
变量参数配置是对计算任务代码中所用的变量进行赋值，从而支持变量参数可以自动被替换为相应的变量值。本文为您介绍如何配置实时任务实时模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发...
实时模式变量配置
变量参数配置是对计算任务代码中所用的变量进行赋值，从而支持变量参数可以自动被替换为相应的变量值。本文为您介绍如何配置实时任务实时模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发...
离线模式变量配置
变量参数配置是对计算任务代码中所用的变量进行赋值，从而支持变量参数可以自动被替换为相应的变量值。本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发...
离线模式变量配置
变量参数配置是对计算任务代码中所用的变量进行赋值，从而支持变量参数可以自动被替换为相应的变量值。本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发...
管理任务流实例
在 变量配置 页签下，配置任务流变量（时间变量）、任务流常量。配置变量的操作，请参见 变量。说明 如上变量为全局变量，即在该任务流下的所有任务节点中都可以使用，使用格式为${name}。在 通知配置 页签下，配置任务流成功、失败的基本...
配置条件分支节点
时间变量：使用系统默认的时间变量或任务流变量。设置任务流变量，请参见 配置时间变量。可选：单击条件表达式右侧的按钮，新增或删除表达式。新增一个与原表达式同级的条件表达式，并从逻辑运算符下拉列表中，选择新增表达式与原表达式...
配置SQL赋值节点
变量在任务节点中的应用如下：在单实例SQL节点中，变量可以作为表名，或用在筛选条件中。在脚本代码节点中，变量可以作为脚本的参数。在Lindorm文件检查节点中，变量可以作为文件名。操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 ...
完成用户任务
配置属性 完成用户任务操作属性由以下部分组成，逻辑流通用属性部分请参考 逻辑流操作通用属性：基础属性 示例 说明 工作流任务实例 用于指定工作流任务实例，此处应选择类型为工作流用户任务的变量。工作流模型 用于指定调用的目标工作流...
展示用户任务页面
配置属性 展示用户任务页面操作属性由以下部分组成，逻辑流通用属性部分请参考 逻辑流操作通用属性：基础属性 示例 说明 工作流任务实例 用于指定工作流任务实例，此处应选择类型为工作流用户任务的变量。异常说明 错误码 说明 解决方案 ...
RDMA：使用高性能网络进行分布式训练
默认变量（平台预置）根据不同的灵骏规格，平台已经在系统中预置了默认变量，具体请参照下表内容：灵骏规格 NCCL变量 ml.gu7xf.c96m1600.8-gu108 ml.gu7xf.8xlarge-gu108 ml.gu7ef.c96m1600.8-gu100 export NCCL_IB_TC=136 export NCCL_IB_...
配置脚本代码节点
单击 任务流变量 页签，配置任务流变量。配置方法，请参见 配置时间变量。单击 输入变量 页签，查看输入变量，输入变量包括上游变量、运行状态和系统变量。如果您想在下游节点中使用脚本输出变量，单击 输出变量 页签，单击 增加变量，添加...
DMS调度Spark
单击 任务流变量 页签，配置任务流变量。配置方法，请参见 配置时间变量。单击 输入变量 页签，查看输入变量。双击 ADB Spark 节点，配置如下信息：类别 配置项 说明 基础配置 地域 选择目标 AnalyticDB MySQL版 实例所在地域。目前仅支持...
配置离线数据集成节点
单击 任务流变量 页签，配置任务流变量。具体配置，请参见 配置时间变量。单击 输入变量 页签，可查看上游变量、运行状态变量和系统变量。在离线数据集成节点的配置页面，配置离线数据集成节点。分类 配置项 描述 数据源配置 源库 搜索并...
配置AnalyticDB MySQL Spark节点
单击 任务流变量 页签，配置任务流变量。配置方法，请参见 配置时间变量。单击 输入变量 页签，查看输入变量。双击 ADB Spark 节点，配置如下信息：类别 配置项 说明 基础配置 地域 选择目标 AnalyticDB MySQL版 实例所在地域。目前仅支持...
基本概念
指定时间范围运行 在时间范围内运行方式也需要定义多个任务流变量（时间变量），目前一次只能运行50个节点实例。例如调度周期为1日，那么任务流实例只能运行50天。说明 时间范围内运行的任务是串行运行的，即必须一个业务时间的任务执行...
配置循环SQL节点
说明 循环列表支持上游变量、任务流常量和赋值，同时支持组合使用，例如：cat,dog,duck,${listStr}。分隔符用于分隔循环列表，支持正则表达式，默认为半角逗号（,）。第一个循环列表的元素名默认为 loop.item，第二个循环列表未配置元素名...
新建全局变量
变量输出格式：日期时间变量计算后，结果返回值的格式。单击下拉列表可以进行选择，格式包括：yyyyMMdd：年月日。例如20220604。yyyy-MM-dd：年-月-日。例如2022-06-04。yyyy/MM/dd：年/月/日。例如2022/06/04。yyyyMMddHHmmss：年月日时分...
新建变量组及全局变量
变量输出格式：日期时间变量计算后，结果返回值的格式。单击下拉列表可以进行选择，格式包括：yyyyMMdd：年月日。例如20220604。yyyy-MM-dd：年-月-日。例如2022-06-04。yyyy/MM/dd：年/月/日。例如2022/06/04。yyyyMMddHHmmss：年月日时分...
离线模式配置概述
变量配置 用于配置实时计算任务的变量参数。配置说明，请参见 离线模式变量配置。运行参数 在开发 流批一体任务 时，通常需要配置任务离线模式的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的...
离线模式配置概述
变量配置 用于配置实时计算任务的变量参数。配置说明，请参见 离线模式变量配置。运行参数 在开发 流批一体任务 时，通常需要配置任务离线模式的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的...
配置跨库Spark SQL节点
单击 任务流变量 页签，配置任务流变量。具体配置，请参见 配置时间变量。单击 输入变量 页签，可查看上游变量、运行状态变量和系统变量。可选：在 OSS引用 区域，单击 添加OSS引用，添加SQL语句中需要引用的OSS，配置完成后单击 保存。...
实时模式配置概述
变量配置 用于配置实时计算任务的变量参数。配置说明，请参见 实时模式时间参数配置。属性配置（时间参数）用于配置实时计算任务的运行时间偏移。配置说明，请参见 实时模式时间参数配置。Checkpoint配置 实时任务的Checkpoint可以将任务的...
API概览
ListTaskFlowTimeVariables 获取任务流时间变量列表 调用ListTaskFlowTimeVariables接口，获取任务流时间变量列表。UpdateTaskFlowTimeVariables 更新任务流时间变量 调用UpdateTaskFlowTimeVariables接口，更新任务流时间变量。...
CreateTask-创建任务流任务
当前仅“单实例 SQL 赋值”、“脚本代码”、“Ecs 远程命令”任务节点具有输出变量，配置方式有所区别，详情可参考 UpdateTaskOutput 接口文档说明。单实例 SQL DagId NodeName NodeType:1 NodeParam GraphParam NodeContent:样例如下 {...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
ListTasksInTaskFlow-获取指定任务流的任务节点列表
{"rerun":{/必填固定值"rerunEnable":true,/是否开启重跑"rerunCount":1,/重跑次数"rerunInterval":10/重跑间隔 } } NodeOutput string 任务输出变量。{"outputs":[{/*变量提取设置 {"row":0,/行，-1为所有行"column":1,/列，-1为所有列/*...
通过DMS管理作业
在 节点变量 或者 任务流变量 页签中添加变量名。在 作业配置 区域中使用变量。更多变量请参见 变量概述。通知配置 如果打开通知开关，系统会根据任务流执行的结果发送相应的通知消息。打开通知方法如下：单击任务流名称页面左下角的 通知...
K8s任务
通过环境变量获取任务参数 SchedulerX系统支持将任务参数预先配置到环境变量中，这样无论是脚本任务、Pod还是Job，都可以便捷地通过读取环境变量来获取所需的各项参数信息。说明 Schedulerx-Agent 版本需要大于等于1.10.14。key 描述 ...
do-while节点逻辑原理介绍
系统内置变量 每次任务循环运行时，您可以通过一些内置的变量来获取当前已循环次数和偏移量。内置变量 含义 取值${dag.loopTimes} 当前已循环次数 第一次循环为1、第二次为2、第三次为3…第n次为n。{dag.offset} 偏移量 第一次循环为0、...
- 产品推荐
- 这些文档可能帮助您