任务列表
当前可查看任务进度的任务类型主要包括 库表恢复 和 数据恢复 任务，具体如下。任务类型 任务名称 任务详情中展示的步骤名称 备注示例 企业版 标准版 库表恢复 库表恢复 临时节点增量恢复（按需）临时节点增量恢复（按需）正在回放第 16 个...
导购任务
任务列表 的内容主要包括两个：任务数据概览展示任务总数与各类型任务的任务数量，包括进行中与已结束的任务，让运营人员对任务情况有一个基本的了解。任务列表展示所有任务的明细，包括其名称、类型、时间属性、负责人、任务状态以及完成...
查看订阅任务
查看订阅任务详情 在 数据订阅 页面，单击任务卡片名称，即可打开任务详情页，查看任务的详细信息，主要包括三部分信息：基本信息、任务监控数信息以及详细信息。基本信息 基本信息提供了订阅任务的任务 ID、任务名称、订阅任务分组、...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
创建PYTHON计算任务
为了满足丰富的Python应用场景，Dataphin支持创建可以使用Python语法的PYTHON计算任务。本文为您介绍如何基于Dataphin新建PYTHON计算任务。使用限制 Python 3.7无法向下兼容Python 2.7，无法直接升级历史的Python 2任务。2.9.3版本后，...
功能简介
空间数据支持单文件、多文件、数据库等多种形态，矢量、栅格、瓦片、倾斜摄影等...支持查看数据处理任务详情，包括任务的基本信息、处理的数据、数据坐标位置、结果数据、参数设置和任务执行状态。支持查看数据处理任务的运行属性和运行日志。
空间数据（邀测中）
空间数据支持单文件、多文件、数据库等多种形态，矢量、栅格、倾斜摄影等多种...支持查看数据处理任务详情，包括任务的基本信息、处理的数据、数据坐标位置、结果数据、参数设置和任务执行状态。支持查看数据处理任务的运行属性和运行日志。
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
新建VIRTUAL任务
属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本信息 用于定义调度任务的名称、对应责任人、描述等基本信息。详情请参见：配置任务基本信息。参数配置 若您的任务中调用了参数...
新建VIRTUAL任务
属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置。基本信息 用于定义调度任务的名称、对应责任人、描述等基本信息。配置说明，请参见 配置任务基本信息。参数配置 若您的任务中调用了参数变量，...
任务模板管理
Serverless 应用引擎 SAE（Serverless App Engine）支持短时任务（Job），能够在短时间内快速创建大量的计算任务，并且在任务完成后快速释放计算资源。这些短时任务具备单机、广播、并行计算、分片运行、定时、失败自动重试、事件触发等...
管理简单任务和集群任务
您可以在任务列表中查看已创建的调度任务，包括任务的名称、所属应用、任务优先级等信息。查看订阅节点 在任务列表中，单击目标任务名称。单击 客户端 页签。您可以查看已订阅的客户端 IP、版本和执行记录。单击 立即触发 可触发任务。查看...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
新建HOLOGRES_SQL任务
本文为您介绍在绑定了Hologres离线计算引擎的项目下如何创建HOLOGRES_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 ...
新建HOLOGRES_SQL任务
本文为您介绍在绑定了Hologres离线计算引擎的项目下如何创建HOLOGRES_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 ...
新建MAX_COMPUTE_MR任务
本文为您介绍如何基于Dataphin构建MapReduce类型的离线计算任务。前提条件 完成JAR资源包的上传，详情请参见 上传资源及引用。背景信息 MapReduce任务中引用到的JAR资源包需提前创建，因此需要您在资源管理中上传JAR资源包，然后在...
新建MAX_COMPUTE_MR任务
本文为您介绍如何基于Dataphin构建MapReduce类型的离线计算任务。前提条件 完成JAR资源包的上传，详情请参见 上传资源及引用。背景信息 MapReduce任务中引用到的JAR资源包需提前创建，因此需要您在资源管理中上传JAR资源包，然后在...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...
新建INCEPTOR_SQL任务
本文为您介绍在绑定了星环TDH计算引擎的项目下如何创建INCEPTOR_SQL任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建INCEPTOR_SQL任务 对话框。编写并运行代码。在 新建INCEPTOR...
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 ...
新建SPARK_JAR_ON_HIVE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_HIVE类型的任务。背景信息 SPARK_JAR_ON_HIVE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_HIVE任务中引用。具体操作，请参见...
新建ARGODB_SQL任务
本文为您介绍基于ArgoDB离线计算引擎如何新建ARGODB_SQL任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建ARGODB_SQL任务 页面。编写并运行代码。在 新建ARGODB_SQL任务 对话框，...
新建SPARK_SQL任务
本文为您介绍如何基于Dataphin构建Spark SQL任务类型的离线计算任务。前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认...
新建HIVE_SQL任务
本文为您介绍如何基于Dataphin构建HIVE_SQL类型的离线计算任务。背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。...
新建STARROCKS_SQL任务
本文为您介绍基于STARROCKS离线计算引擎如何新建STARROCKS_SQL任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入开发页面。按照下图操作指引，进入 新建STARROCKS_SQL任务 页面。编写并运行代码。在 新建STARROCKS_SQL...
新建ADB_PG_SQL任务
本文为您介绍在绑定了AnalyticDB for PostgreSQL计算引擎的项目下如何创建ADB_PG_SQL任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建ADB_PG_SQL任务 对话框。编写并运行代码。...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
配置任务基本信息
您可以在离线任务编辑器属性对话框中查看离线任务的基本详细和进行调度配置，包括任务的名称、ID、类型，并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，进入离线任务...
配置任务基本信息
您可以在离线任务编辑器属性对话框中查看离线任务的基本详细和进行调度配置，包括任务的名称、ID、类型，并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，进入离线任务...
新建SPARK_JAR_ON_MAX_COMPUTE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_MAX_COMPUTE类型的任务。背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_MAX_COMPUTE任务中...
新建SPARK_JAR_ON_MAX_COMPUTE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_MAX_COMPUTE类型的任务。背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_MAX_COMPUTE任务中...
新建PAI_DESIGNER任务
属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本信息 用于定义调度任务的名称、对应责任人、描述等基本信息。配置说明，请参见 配置任务基本信息。参数配置 若您的任务中调用了...
新建PAI_DESIGNER任务
属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本信息 用于定义调度任务的名称、对应责任人、描述等基本信息。配置说明，请参见 配置任务基本信息。参数配置 若您的任务中调用了...
API概览
数据开发 API 标题 API概述 任务编排 任务编排 UpdateTaskFlowConstants 更新任务流常量列表 调用UpdateTaskFlowConstants接口，更新任务流常量列表。DeleteTaskFlow 删除任务流 调用DeleteTaskFlow接口，删除任务流。OfflineTaskFlow 下线...
功能特性
导入或导出任务 任务批量操作 批量管理任务，包括启用、禁用和删除操作。批量启用和禁用调度任务 流程管理 流程生命周期管理 支持跨应用的任务编排，您可以将同一个应用的任务，或不同应用的任务按执行逻辑编排在一个工作流中。流程管理 ...
执行补数据并查看补数据实例（新版）
搜索任务 通过名称或ID搜索，添加一个起始任务，以及一个或多个结束任务，平台将根据起始及结束任务分析中间任务（即中间任务为起始任务的直接或间接下游任务，为结束任务的直接或间接上游任务）。中间任务列表 平台根据起始任务及结束任务...
执行补数据并查看补数据实例（旧版）
如果补数据选择业务日期为历史业务日期（T-2）时，补数据任务将按照以下规则对任务进行降级处理：7级、8级任务优先级降为3级。5级、3级任务优先级降为2级。1级任务优先级保持不变。进入补数据界面 进入运维中心页面。登录 DataWorks控制台...
- 产品推荐
- 这些文档可能帮助您