运维中心入门
本文仅为您介绍运维中心模块的任务运行维度的 基本使用流程，您可根据实际业务需求，执行更丰富的运维操作，例如：对任务执行上下线，冻结等更多运维操作，详情请参见 周期任务基本运维操作。对任务运维操作进行相关管控，详情请参见 运维...
CreateJob-创建任务
key1=value1,key2=value2 SuccessPolicy string 否 分布式多机任务的成功策略，目前只有 Tensorflow 的多机任务支持。ChiefWorker：当指定为这个值的时候，只要 Chief 的 pod 成功结束，那么就认为整个任务成功结束。AllWorkers（默认值）...
为OSS投递任务（新版）设置告警
多个投递任务之间可以使用竖线（|）分隔。您还可以使用正则表达式.*进行配置，例如sche.*，表示监控以sche开头的投递任务。监控阈值：当OSS投递任务的延迟时间超过该值时，触发告警。默认值为300秒。行动策略：当前告警所绑定的行动策略，...
Routine Load
暂停导入任务 使用PAUSE语句后，此时导入任务进入PAUSED状态，数据暂停导入，但任务未终止，可以通过RESUME语句重启任务。PAUSE ROUTINE LOAD FOR;暂停导入任务后，任务的 State 变更为 PAUSED，Statistic 和 Progress 中的导入信息停止...
为MaxCompute投递任务（新版）设置告警
多个投递任务之间可以使用竖线（|）分隔。您还可以使用正则表达式.*进行配置，例如sche.*，表示监控以sche开头的投递任务。监控阈值：当MaxCompute投递任务的延迟时间超过该值时，触发告警。默认值为300秒。行动策略：当前告警所绑定的行动...
查看并管理手动任务
修改调度资源组 可批量修改多个任务生成的实例运行时使用的调度资源组。说明 仅Prod和Basic项目下的任务可修改调度资源组。修改后对已生成的实例无影响，仅影响新生成的实例；如果需要修改已生成的实例使用的资源组，可以在实例列表进行...
查看训练详情
成功提交训练任务后，您可以通过查看任务基本信息与配置、任务事件、资源视图以及任务日志等内容来全面了解任务的运行情况。查看任务基本信息及配置 进入 分布式训练任务 页面。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作空间...
补数据
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
执行补数据并查看补数据实例（新版）
搜索任务 通过名称或ID搜索，添加一个起始任务，以及一个或多个结束任务，平台将根据起始及结束任务分析中间任务（即中间任务为起始任务的直接或间接下游任务，为结束任务的直接或间接上游任务）。中间任务列表 平台根据起始任务及结束任务...
语音转译
该功能是方便用户将语音文件转译为文本文件所使用。需要注意语音转译将产生转译费用，二次转译会重新产生费用。创建转译任务前需要前往数据集管理中上传需要转译的语音数据集。新建转译任务 点击左上角的 新建语音转译任务 即可呼出转译...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
通过运维中心管理任务流与任务流实例
控制任务流中执行的SQL数量 使用监控与保障功能，可限制多个任务流中的同一个数据库在同一时间执行SQL的数量，保护数据库的稳定性、安全性和可靠性。进入任务编排运维中心。单击 监控与保障，在并发配置页签下，单击 新增。配置 资源类型、...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
DataWorks作业调度
使用DataWorks可以使云原生数据仓库PostgreSQL版获得任务开发、任务依赖关系管理、任务调度、任务运维等全方位强大的能力，进一步增强分析型数据库PostgreSQL版的ETL能力。本文将介绍如何使用DataWorks来调度云原生数据仓库PostgreSQL版的...
触发器
建议您使用变量，否则多个任务的输出结果会互现覆盖。具体操作，请参见 变量。服务角色 授权给IMM服务以访问其他云资源（例如OSS）的权限，建议使用服务角色 AliyunIMMBatchTriggerRole。没有服务角色时，您可以在 云资源访问授权 页面创建...
任务
任务（Task）是MaxCompute的基本计算单元，用户通过编写SQL或者MapReduce程序来表达数据处理的逻辑，然后提交这些程序到MaxCompute服务上执行，MaxCompute会把这些程序转换为一个或多个任务，并在分布式环境中并行执行。对于您提交的大多数...
批处理
建议您使用变量，否则多个任务的输出结果会互相覆盖。具体操作，请参见 变量。服务角色 授权给IMM服务以访问其他云资源（例如OSS）的权限，建议使用服务角色 AliyunIMMBatchTriggerRole。没有服务角色时，您可以在 云资源访问授权 页面创建...
任务组批量升级
流水线使用任务组 在配置流水线过程中，选择已经创建的任务组。支持批量升级，流水线在使用任务组时无法任意更改任务组配置。升级任务组 进入任务组管理，编辑修改任务组后，会对关联流水线中的任务节点进行升级。升级规则 支持批量升级的...
任务类型
1.背景 一个作业（Job）由一组任务（Task）及其依赖关系组成，每个任务可以有一个或多个执行实例（Instance）。具体详情看 名词解释。目前的任务类型分为两种：并发任务和 DAG(Directed Acyclic Graph)任务。2.任务概述 2.1 并发任务 ...
创建并管理数据源
周期计算任务 手动计算任务 周期数据集成任务 手动数据集成任务 实时数据集成任务 通过 批量操作 修改任务归属数据源，并重新提交、发布任务。数据服务API 高 导致相关任务调用失败。数据服务API（调用、发布等）数据服务编排 更换数据服务...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
调度策略
为了提高算力资源的使用效率，PAI在资源配额维度提供了多种排队策略，并通过调度策略来提高任务的出队效率。您可以在资源配额界面上配置和管理这些排队策略，选择不同的排队策略将直接影响任务的执行顺序，但不会对已经开始执行的任务产生...
数仓开发任务流
每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓开发任务流 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 ...
pg_cron
库级别的任务管理：定时任务保存在数据库中，可以跨多个数据库共享和管理任务。并发任务执行：支持同时执行多个任务，提高任务执行效率。可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据...
pg_cron
库级别的任务管理：定时任务保存在数据库中，可以跨多个数据库共享和管理任务。并发任务执行：支持同时执行多个任务，提高任务执行效率。可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据...
pg_cron
库级别的任务管理：定时任务保存在数据库中，可以跨多个数据库共享和管理任务。并发任务执行：支持同时执行多个任务，提高任务执行效率。可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据...
开始模型训练
您在同一个画布中发起多个任务时，新任务产生的输出表将覆盖旧任务的输出表。如需保存指定任务的输出表，可在 任务列表 中，单击任务后的 点击保存，保存指定任务。说明 只能保存最新的一条任务，且该任务必须已执行成功。如果任务已被覆盖...
执行补数据并查看补数据实例（旧版）
如需对该任务的多个不连续的时间段补数据，可单击 添加多段业务日期，配置多个时间段。当 业务日期 晚于当前日期，可选择 立即运行定时时间大于此刻的补数据实例，后续当实际时间大于配置的 业务日期 时，平台会立即运行该补数据实例。例如...
基本概念
任务模板和任务的关系，类似面向对象程序设计中的类和对象的关系，任务模板是静态的概念，任务是动态的概念，可以根据单个任务模板批量创建多个任务。任务记录 任务执行的记录。可以查看和删除创建过的任务的执行记录，并支持通过状态筛选...
并发数和构建时长
计费规则 流水线是由多个任务组成，而一个任务则是由多个步骤组成 如下图所示，该流水线包含两个任务：Java 构建上传 主机部署 而”Java 构建上传”任务包含两个步骤：Java 构建 构建物上传 Flow 根据 任务 的运行状态来统计企业并发数和...
同步时源库为PolarDB-X 1.0的注意事项及限制
如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。PolarDB-X 1.0 下面挂载的 RDS MySQL 的...
任务配置
将任务节点连线，形成工作流当任务流中包含多个任务节点时，连线上游节点的输出，将自动作为下游节点的输入数据集。保存工作流并发布运行。任务节点说明 下文为您说明各任务节点的配置，您可根据业务需求选择一个或多个节点构建所需任务流...
离线任务监控概述
任务级监控：在任务级下您可为多个任务配置相同的监控报警规则，也可为一个任务配置多个不同的监控报警规则。配置任务级监控，请参见 配置任务监控报警规则。项目级监控：在项目级下您可为当前项目中所有任务或通过任务类型（任务类型+调度...
离线任务监控概述
任务级监控：在任务级下您可为多个任务配置相同的监控报警规则，也可为一个任务配置多个不同的监控报警规则。配置任务级监控，请参见 配置任务监控报警规则。项目级监控：在项目级下您可为当前项目中所有任务或通过任务类型（任务类型+调度...
管理流水线
每个任务都可以被多个任务依赖，也可以依赖多个任务。依赖关系可以通过编辑被依赖方的 前置任务 来进行更改。例如，想取消B对A的依赖，可以单击B的任务节点，将A从B的前置任务中移除。新建任务 该按钮表现为“＋”图标，分别存在于任务节点...
管理流水线
每个任务都可以被多个任务依赖，也可以依赖多个任务。依赖关系可以通过编辑被依赖方的 前置任务 来进行更改。例如，想取消B对A的依赖，可以单击B的任务节点，将A从B的前置任务中移除。新建任务 该按钮表现为“＋”图标，分别存在于任务节点...
快速上手
stages.<stage_id>.jobs.<job_id>.runsOn 流水线任务运行的集群环境，可以使用云效提供的公共集群环境，也可以使用私有构建集群 stages.<stage_id>.jobs.<job_id>.steps 流水线步骤，流水线任务可以由一个或多个步骤 steps 组成 stages....
事件管理
最差基线：如果当前事件对应的任务有多个下游任务处于开启状态的基线上时，基线余量时间最少的基线将被视为最差基线。时间信息：事件发送时间轴，包括事件发生时间，事件发现时间、首次报警时间、最后处理时间和恢复时间。单击 查看报警...
基线管理
如果您需保障重要任务能按时完成，则可使用基线管理功能将重要任务添加至基线并设置承诺时间，系统将根据任务运行情况计算基线任务的预计完成时间。当系统判断基线任务可能无法在承诺时间前完成时，将发出告警。本文为您介绍如何创建和管理...
管理发布任务
基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。背景信息 如果您选择了Dev-Prod开发模式，提交后的任务进入 发布 模块的待发布...
- 产品推荐
- 这些文档可能帮助您