周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
DisableJob-停用指定任务
请求参数 名称 类型 必填 描述 示例值 JobId long 是 任务ID，在控制台的任务管理页面中获取。92583 Namespace string 是 命名空间ID，在控制台的命名空间页面中获取。adcfc35d-e2fe-4fe9-bbaa-20e90ffc*NamespaceSource string 否 特殊第...
定时任务概述
6#3 每月第三个星期六18:15执行任务 如何配置定时任务 配置定时任务的相关文档如下所示：控制台文档 操作项 API文档 配置定时任务 创建定时任务 CreateScheduledTask 修改定时任务 ModifyScheduledTask 启用定时任务 无 停用定时任务 无 ...
DeleteJob-删除指定任务
请求参数 名称 类型 必填 描述 示例值 JobId long 是 任务ID，在控制台的 任务管理页面中获取。92583 Namespace string 是 命名空间ID，在控制台的 命名空间页面中获取。adcfc35d-e2fe-4fe9-bbaa-20e90ffc*NamespaceSource string 否 特殊...
StopInstance-终止正在运行的实例
请求参数 名称 类型 必填 描述 示例值 JobId long 是 任务ID，在控制台的任务管理页面中获取。92583 InstanceId long 是 运行实例ID。11111111 Namespace string 是 命名空间ID，在控制台的命名空间页面中获取。adcfc35d-e2fe-4fe9-bbaa-20...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
常见问题
更多信息，请参见 什么是DTS Serverless实例。性能和规格问题 不同实例规格有什么区别？不同实例规格的区别，请参见 数据迁移链路规格说明 和 数据同步链路规格说明。是否支持升级实例规格？支持。请在实例列表中找到目标实例，在实例右侧...
常见问题
实际的任务并行度参照如下的计算公式 concurrent_num=Min(Min(partition_num,Min(desired_concurrent_num,alive_be_num)),Config.max_routine_load_task_concurrent_num)。max_batch_interval properties 10s Routine Load任务调度周期。...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
GetJobInstanceList-获取指定任务ID的执行实例列表
schedulerx GroupId string 是 应用分组ID testSchedulerx.defaultGroup JobId long 是 任务ID 92583 Status integer 否 实例状态。包含以下几种状态：1：等待 3：运行中 4：成功 5：失败 9：拒绝 对应枚举类：...
服务端发布记录
专业版公测 并行计算任务支持用户在切分子任务时自定义子任务标签，控制台子任务列表支持基于子任务查询。支持ElasticJob开发的执行器对接。无 2022-01-26 变更类型 功能描述 相关文档 新增 支持概览页。支持日志服务。支持查看堆栈。控制...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
任务详情页
弹窗式任务详情页分为左右两个区域，左侧区域主要呈现的是任务的标题、字段、子任务和关联等信息，右侧区域主要呈现的是任务的参与者、动态和评论等信息。二、举例介绍 下面以弹窗式任务详情页作为介绍：$icmsDocProps={'productMethod':'...
标注任务
功能概述 在智能对话机器人产品中，标注任务是指对 机器人对话效果 的 打标与优化 任务。首先由系统基于测试环境下的机器人知识，根据人工上传测评集（包含测试问句）批量跑出机器人答案，再由人工完成包括 标注、优化和回归测评 三大步骤...
查看并管理明细汇总表任务
明细汇总表任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
pg_cron
背景信息 定时任务是一种在预定的时间点或时间间隔内自动执行的任务。定时任务通常由一个调度器负责管理，根据预定的时间规则触发任务的执行。常见的时间规则包括每天的特定时间点、每周的特定日期和时间、每月的特定日期和时间等。调度器...
查看并管理明细汇总表任务
明细汇总表任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
pg_cron
背景信息 定时任务是一种在预定的时间点或时间间隔内自动执行的任务。定时任务通常由一个调度器负责管理，根据预定的时间规则触发任务的执行。常见的时间规则包括每天的特定时间点、每周的特定日期和时间、每月的特定日期和时间等。调度器...
pg_cron
背景信息 定时任务是一种在预定的时间点或时间间隔内自动执行的任务。定时任务通常由一个调度器负责管理，根据预定的时间规则触发任务的执行。常见的时间规则包括每天的特定时间点、每周的特定日期和时间、每月的特定日期和时间等。调度器...
添加服务调用任务
消息格式如下：{"id":"123","version":"1.0","params":{"Power":"on","WF":"2"},"method":"thing.service.${tsl.service.identifier}"} 其中，params 数据是任务规则文件中 params 数据；{tsl.service.identifier} 是任务规则文件中 ...
基本概念
概念 说明 工作空间（Workspace）工作空间是EMR Serverless Spark为业务开发划分的基本单元，是任务、资源和权限的集合。每个工作空间的任务、计算资源以及权限都是隔离的。资源队列（Resouce Queue）EMR Serverless Spark采用CU（Compute ...
调度DLA Spark任务
操作步骤 任务调度中一个重要的功能是任务之间的依赖，为演示这个功能，本文会在DMS中创建一个DLA Serverless Spark任务和两个 DLA Spark SQL任务，任务之间的依赖关系如下图所示，任务 DLA Spark SQL-1和 DLA Spark SQL-2 依赖上游任务...
全增量同步任务运维
主要内容如下：总运行状态分布 区域展示当前所选时间周期，目标任务的个数及运行结果的状态分布，统计的是任务运行成功及失败状况。您可以单击饼图中的某个色块，进入相应状态的任务列表，在任务列表页面查看相应任务的执行详情。任务的...
Panes
语法 表达式.Add({ Caption,Visible })表达式：实例化的 Panes 对象 参数 属性 数据类型 是否必填 描述 Caption String 是 任务窗口标题。Visible Boolean 否 是否展示任务窗口。返回值 返回对应的 Panes 对象。示例/file=base.docx async ...
添加属性设置任务
sys/${productKey}/${deviceName}/thing/service/property/set_reply 消息格式如下：{"id":"123","version":"1.0","params":{"temperature":"30.5"},"method":"thing.service.property.set"} 其中，params 数据是任务规则文件的 params ...
调度DLA Presto任务
任务调度中一个重要的功能是任务之间的依赖，为演示该功能，本文在DMS中创建两个DLA任务，表、任务之间的关系如下图所示。任务一 从orders表查询出已经完成的订单：o_orderstatus='F'，并将其写入finished_orders表。任务二 从finished_...
WAL日志并行回放
因此，PolarDB 数据库在Standby节点持续回放WAL日志过程中，引入了上述并行任务执行框架，并结合LogIndex数据将WAL日志的回放任务并行化，提高了Standby节点数据同步的速度。工作流程 Startup进程：解析WAL日志后，仅构建LogIndex数据而不...
WAL日志并行回放
因此，PolarDB 数据库在Standby节点持续回放WAL日志过程中，引入了上述并行任务执行框架，并结合LogIndex数据将WAL日志的回放任务并行化，提高了Standby节点数据同步的速度。工作流程 Startup进程：解析WAL日志后，仅构建LogIndex数据而不...
安全联邦学习-任务模式FL
一、什么是安全联邦学习-任务模式 功能介绍：通过任务的模式，在原始数据不出域的前提下，通过交换各个参与方的算法训练的中间结果梯度、参数信息，或完全在密文条件下进行计算，从而发挥参与多方数据样本更丰富、更全面的优势，得出更优...
并发数和构建时长
什么是并发数 并发数指的是，企业内所有流水线正在同时运行的任务。当企业的并发数达到上限时，需要等待前序任务运行完成或者取消，超出额度的任务会处于等待状态。Flow提供了一定额度的免费并发额度。当然，也可以通过升级套餐的方式，...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的基本原理是将一个大查询任务拆解成多个小的查询任务并发执行，但如果查询的表的实际数据量较少，不能拆分为更多的子任务。例如并行度设置的是4，但因为查询的数据量较少，最多只拆分出了2个子任务，这种情况并行加速的效果就取决...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
问题汇总
为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会空跑 什么是空跑？为什么会空跑？场景一：周月实例空跑周期 场景二：实时生成的过期实例 场景三：设置成功实例 场景四：实例属性为空跑 场景五：临时工作流...
快速入门
错误处理策略 该策略用于运行任务流时，如果出现第一个错误该采取什么样的策略。策略及其说明如下：完成运行中的任务：任务流中其他正在运行的节点任务将会保持运行直到结束，其他的节点任务不会被运行，正在运行的任务流运行结束后，任务...
并行循环步骤
示例 下面的示例流程定义了一个并行循环步骤，这个并行步骤包含一个任务步骤。version:v1 type:flow steps:type:foreach name:myforeach iterationMapping:collection:$.names item:name steps:type:task name:toUpperCase resourceArn:acs...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
产品功能
SchedulerX主要提供调度...子任务失败自动重试：如果是分布式任务（并行计算/内网网格/网格计算），子任务也支持失败自动重试和重试间隔，同样可以通过任务管理的高级配置进行配置。报警监控 失败报警 超时报警 无可用机器报警 报警方式：短信
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
- 产品推荐
- 这些文档可能帮助您