任务菜单
除了任务内容的编辑与修改外，在任务面板右上角的下拉菜单中，可以选择对任务的更多操作。如果打开的下拉菜单中没有显示如图的所有操作，说明该操作需要项目管理员、拥有者、相应自定义角色或任务创建者才可进行，请联系有权限的同事协助...
概述
企业数据智能平台 各模块发起的任务，如数据同步、数据开发、标签加工 等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务流程，任务流中包含了不同类型的节点，如MaxCompute离线任务、Flink流式任务等。不同类型的节点...
ListTasks-查询任务列表
通过该接口可以查询指定时间范围内的任务、或者通过创建任务时指定的Tag搜索任务等。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰...
概述
拓扑任务是一种特殊的任务，是通过事件触发的任务集合。拓扑任务中的任务执行流程均起始于开始节点，终止与结束节点，任务的执行流程形成一张有向无环图。拓扑任务本身可以通过 CRON 表达式或者事件触发，但其中的任务节点必须符合以下要求...
热词分析
如上图所示，周期性任务的任务结果，在一次性任务的任务结果基础上，多了以下两个功能：查看某个热词在多次任务结果中的变化趋势 热词变化率TOP5 热词变化率：本次任务结果中的热词次数与上一次任务结果中的热词次数相比的变化情况；...
群组任务
群任务：群组任务包含了群组中所有成员创建的任务。在群组中可以查看所有任务和完成情况，便于对群组中的各项事务进行全面的了解和梳理。个人任务：个人任务包含了“我”创建的和指派给“我”的任务。如某条任务中与“我”无关则在个人任务...
智能监控
没有触发报警 任务未完成时，系统会扫描前100个未完成的任务，如果冻结的任务过多，则会扫描不到，因此也就无法触发报警。有真实触发报警，但配置的 电话、短信和邮箱未收到报警，该如何排查？此场景下您需要先了解，如何在DataWorks配置...
通过运维中心管理任务流与任务流实例
任务流 管理 进入任务编排运维中心 后，单击 任务流管理，编辑 任务流、查看 DAG图、回滚 版本、查看任务流的 运行记录（可查看 调度触发 与 手动触发 的任务流的执行耗时趋势图）。任务流运行管理 进入任务编排运维中心 后，单击 运行管理...
管理工作流任务
使用PAIFlow OpenAPI提交的任务，详情请参见 API概览。在Designer中手动执行的任务，详情请参见 模型训练。在DataWorks周期性调度中定期触发执行的任务，详情请参见 使用DataWorks离线调度Designer工作流。操作步骤 进入任务管理页面。登录...
任务看板跟进
可以直接在「任务」应用下选择多个任务类型查看属于同一个工作流程下的任务，关注进展，方便管理。点击看板右上角的视图还能切换为「看板视图」、「表格视图」、「时间视图」和「列表视图」四种方式，可以从不同的角度和方式查看整个项目的...
任务拓扑相关问题
问题原因 任务拓扑本身可以通过 CRON 表达式或者事件触发，但可以加入拓扑的任务节点必须符合以下要求：触发方式为事件触发 通信方式为 CALLBACK 任务节点为简单任务、集群任务或其它拓扑任务 解决方案 修改待加入拓扑的任务的触发方式或...
任务运行诊断
例如，上游任务的定时时间、上游任务实际执行完成时间、任务执行资源组所剩资源等。本文为您介绍如何使用运行诊断功能快速定位任务未运行成功的原因。前提条件 请确保已存在周期实例。调度任务通过周期实例的方式自动调度运行，新建任务...
触发拓扑任务
自动触发 CRON 表达式触发：拓扑任务的调度类型为 CRON 表达式触发时，会根据 CRON 表达式设置的时间周期自动触发任务。事件触发：拓扑任务的调度类型为事件触发时，您可以通过外部事件进行触发。例如 API 调用、拓扑图中的父节点驱动。...
DataWorks作业调度
任务简介 任务之间的依赖是任务调度中的一个重要的功能，例如，我们在DataWorks里面创建两个云原生数据仓库PostgreSQL版的任务，其中表与任务之间的关系如下图：任务：finished_orders 从orders表清洗出已经完成的订单：o_orderstatus='F'...
创建定时任务工作负载CronJob
定时任务CronJob用于创建周期性以及重复性的任务，例如执行备份操作或者发送邮件。Job负责批量处理短暂的一次性任务，即仅执行一次任务，而CronJob则是基于时间间隔重复调度的Job。本文介绍如何创建定时任务CronJob。通过控制台创建CronJob...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
流程管理
SchedulerX支持跨应用的任务编排，您可以将同一个应用的任务，或不同应用的任务按执行逻辑编排在一个工作流中。创建工作流 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 流程管理。在 流程管理 页面选择目标命名...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
项目里程碑
在项目中开启 里程碑与项目中的任务类型相似，作为一种特殊的任务类型。由项目拥有者或项目管理员进入项目后，点击右上角的项目「菜单」，在「项目设置」的「任务设置」中开启项目里程碑。开启后，里程碑会在项目任务类型中展示，创建任务...
PySpark任务快速入门
本文通过一个示例，为您演示如何进行PySpark任务的开发与部署。前提条件 已准备阿里云账号，详情请参见 账号注册。已完成角色授权，详情请参见 阿里云账号角色授权。已创建工作空间，详情请参见 创建工作空间。操作步骤 步骤一：准备测试...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
SQL任务开发
在 EMR Serverless Spark 页面，单击左侧导航栏中的 任务开发。新建任务。在 任务开发 的 任务目录 页签下，单击 新建。在 新建任务 对话框中，输入 名称，选择 任务类型 为 SQL>SparkSQL，然后单击 确定。在右上角选择数据目录、数据库和...
任务管理
新建任务 点击 数据集质检-任务管理 页面列表上方的 新建任务 按钮，如下图所示，按照页面要求进行填写，具体说明如下：任务名称：系统会自动生成一个当前时间的任务名称，可自行修改；数据集：选择指定的数据集作为数据源进行质检分析，可...
基础术语
中文 英文 释义 简单任务 Simple task 最基本的任务类型，适用于业务逻辑简单的场景。单个简单任务对应一个 handler，支持任务分步。集群任务 Cluster task 支持在单个执行步骤中把数据拆分成多个数据分片（data chunk），把一个任务的数据...
创建定时任务工作负载CronJob
定时任务CronJob用于创建周期性以及重复性的任务，例如执行备份操作或者发送邮件。Job负责批量处理短暂的一次性任务，即仅执行一次的任务，而CronJob则是在Job上增加了时间调度。本文介绍如何创建定时任务CronJob。通过控制台创建CronJob ...
下线任务
移除待下线任务的下游依赖：进入下游依赖任务的调度配置界面，去除待下线任务的依赖关系。详情请参见 删除或变更节点依赖。提交下游任务，移除开发环境该任务与待下线任务的依赖关系。发布下游任务，移除生产环境该任务与待下线任务的依赖...
K8s任务
在使用体验上，相较于Argo，SchedulerX更为便捷易用，尤其是在运行时，它提供了可视化的工作流图展示，能够清晰地追踪任务进度，方便快速识别和定位任务受阻的具体环节，如下图所示显示出具体的任务失败：报警监控 通过SchedulerX对您的Pod...
基础版商业化公告（2021年07月30日）
为提供更优质的服务，阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例，如果...不再使用公测：为了避免误扣费，请于2021年09月01日00:00:00前删除或停用调度的任务。具体操作，请参见 删除调度任务。
云数据库混访概述
云数据库混访即支持同时被经典网络和专有网络中的ECS访问。在使用混访混挂方案将经典网络迁移至专有网络时，您需要将云数据库切换至混访模式（即同时保留经典网络和专有网络的访问地址），这样可避免迁移过程中业务中断。在进行网络类型...
如何将任务调度应用优雅下线
为避免该情况，SchedulerX实现了定时任务的优雅下线功能，在关闭应用前，需等待当前正在进行的任务执行完成后，然后再安全地关闭应用。使用限制 客户端版本为1.10.8及以上。优雅下线示意 如何配置 当前 SchedulerX 可同时支持 单机任务、...
产品功能
再通过任务优先级，可以实现类似于yarn的任务优先级队列，超过并发数的任务在队列中等待，高优先级任务会抢占低优先级任务优先调度。很多场景下都有应用级别资源控制和任务优先级的需求。例如数据平台每天要收集报表，可能会有成千上万的...
查看周期实例
相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务、调度任务在非调度时间范围内产生的实例、分支节点分支未被选中的空跑任务、实时转实例产生的过期任务等）与被冻结的任务。使用限制 版本要求：仅...
任务管理
可以复制该调度任务的配置，您可以编辑复制的任务，生成新的调度任务。重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流...
新版任务监控大盘常见问题
本文介绍新版任务的监控大盘的常见问题。新版任务包括OSS投递（新版）、MaxCompute投递（新版）、数据导入（新版）。任务监控大盘报错时，如何处理？异常描述 在目标Project下，打开目标任务的概览页面时，提示 查询失败 错误，统计报表中...
创建和管理订阅任务
在 创建订阅任务 页面，输入订阅任务的任务名称、元数据名称、订阅分组名称等。单击 提交。编辑任务 在 数据订阅 页面，找到您想要编辑的订阅任务，单击任务卡片下方的 编辑 按钮。在 编辑订阅任务 窗口，即可修改任务信息。修改完成后，...
手动创建监控任务
监控任务管理可针对不同来源的任务进行统一监控任务的配置管理，支持批量创建、手动创建以及通过内置监控端对第三方系统和其他需要监控的任务创建。本文介绍如何手动创建监控任务。前提条件 任务来源处已完成任务配置且任务已运行。已添加...
手动创建监控任务
监控任务管理可针对不同来源的任务进行统一监控任务的配置管理，支持批量创建、手动创建以及通过内置监控端对第三方系统和其他需要监控的任务创建。本文介绍如何手动创建监控任务。前提条件 任务来源处已完成任务配置且任务已运行。已添加...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
- 产品推荐
- 这些文档可能帮助您