计算任务概述
Dataphin的计算任务页面支持创建多种类型的计算任务，包括SHELL、PYTHON、数据库SQL、VIRTUAL以及基于计算引擎的SQL和MapReduce（MR）等任务。本文将为您介绍计算任务页面及支持的管理功能。计算任务页面概述 计算任务页面主要由计算任务...
计算任务概述
Dataphin的计算任务页面支持创建多种类型的计算任务，包括SHELL、PYTHON、数据库SQL、VIRTUAL以及基于计算引擎的SQL和MapReduce（MR）等任务。本文将为您介绍计算任务页面及支持的管理功能。计算任务页面概述 计算任务页面主要由计算任务...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
配置任务基本信息
ID 计算任务提交后会生成唯一的ID，不可以修改。节点类型 新建计算任务时选择的节点类型，不可以修改。开发负责人 默认为当前用户,可选当前项目所有成员。说明 生产环境中不支持配置开发负责人，将以开发环境所配置信息为准。运维负责人 ...
配置任务基本信息
ID 计算任务提交后会生成唯一的ID，不可以修改。节点类型 新建计算任务时选择的节点类型，不可以修改。开发负责人 默认为当前用户,可选当前项目所有成员。说明 生产环境中不支持配置开发负责人，将以开发环境所配置信息为准。运维负责人 ...
新建数据库SQL任务
更多信息，请参见 离线计算任务提交说明。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布数据库SQL任务。更多信息，管理发布任务。如果您的开发模式是Basic模式，则提交成功后的数据库SQL任务，即可参与生产环境的调度。您可前往运...
新建数据库SQL任务
更多信息，请参见 离线计算任务提交说明。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布数据库SQL任务。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后的数据库SQL任务，即可参与生产环境的调度。您可...
KILL
其中包含如下检查点：任务等待阶段、Compiler前后、Optimizer优化过程中、物理查询计划生成前后、计算任务提交前后、Meta更新前后、执行结果统计汇总前后等。参数说明 instance_id：实例的唯一标识符。状态必须是Running的实例，否则返回...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
规范建模任务提交说明
完成规范建模相关任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析...
规范建模任务提交说明
完成规范建模相关任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
EMR Studio概述
能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...
使用闲时资源
您可以通过该功能提交闲时计算任务，在不影响正常业务的前提下，提升整体算力资源利用率。实现原理如下：闲时计算任务使用当前或其他Quota下的空闲的计算资源。不受本Quota的资源总量的限制，也不受剩余资源数量的限制。闲时计算任务借用...
自定义血缘配置
Dataphin支持自动解析SQL类型计算任务和逻辑表任务的血缘信息，针对非SQL类型的计算任务，支持自定义配置血缘信息，以补全血缘链路。本文为您介绍如何自定义配置非SQL任务的血缘。使用限制 仅支持针对非SQL类型的计算任务自定义配置血缘...
自定义血缘配置
Dataphin支持自动解析SQL类型计算任务和逻辑表任务的血缘信息，针对非SQL类型的计算任务，支持自定义配置血缘信息，以补全血缘链路。本文为您介绍如何自定义配置非SQL任务的血缘。使用限制 仅支持针对非SQL类型的计算任务自定义配置血缘...
实时计算任务运行与管理
DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情，方便您查看目标任务的运行情况。同时，您还可以为目标任务设置监控报警，在任务运行出错时及时发现并处理异常。使用限制 DataWorks当前仅支持对EMR Spark Streaming及...
查看实时计算任务详情
实时计算任务是数据开发时发起的实时任务，运维监控支持查看实时计算任务及其详情。本文介绍查看实时计算任务的详情。前提条件 在数据开发中，已新建并运行实时计算任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择...
基本概念
多方安全建模控制台 指向节点提交的具体计算任务。一个任务中可单独执行一个组件，也可以将多个组件合并到同一个任务中执行。当一个组件被多次执行时，体现为多个任务。隐私求交控制台 创建一次隐私求交操作后会生成一个求交任务。数据表 ...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
基于异步任务调用GPU函数
异步任务 函数计算 提供异步任务的分发、执行和观测的全栈能力，使得您只需要专注于任务处理逻辑的编写，创建任务处理函数，然后提交任务。函数计算 不但提供异步任务日志、指标以及各个处理阶段耗时统计等丰富的可观测能力，也提供实例...
任务中心
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
任务管理
任务管理支持对计算任务的创建与管理。同时支持对计算任务的启动、停止及查看任务日志。创建并启动任务 前提条件 创建任务前，需已创建算法信息（详见 算法管理）。操作步骤 登录 城市视觉智能引擎控制台，进入实例详情页面,单击页面左侧...
查看及管理任务相关对象
计算任务的相关对象，指 当前任务引用读取的表、引用读取当前任务的表、将当前任务作为上游依赖的任务。本文为您介绍如何查看及管理任务的相关对象。任务相关对象入口 Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下...
任务管理
隐私计算任务列表入口 在DataTrust首页，单击顶部菜单栏的 通用计算，进入 任务管理 页面。按照下图指引，进入 任务列表 页面。查看及管理隐私计算任务列表 隐私计算任务创建完成后，您可对任务执行查看、编辑、运行等操作。区域 描述 ① ...
任务防重复提交
函数计算 支持为每次提交的任务设定全局唯一的ID，当异步接口提交失败时，例如异步调用提交任务接口超时，您可以通过提交相同ID的任务进行重试。功能原理 函数计算 提供 TaskID 这一任务概念，该ID全局唯一。建议您在每次提交任务时指定该...
任务去重
函数计算 支持为每次提交的任务设定全局唯一的ID。当出现不可知的结果时，例如异步调用提交任务接口超时，您可以通过提交相同ID的任务进行重试，任务去重功能可以避免任务的重复执行。本文介绍如何通过设置TaskID来实现任务去重。功能原理 ...
产品限制
版本v20150630：BatchCompute 使用共享资源池支持大规模离线计算，计算任务可能需要排队等待。计算节点暂不支持公网访问。
- 产品推荐
- 这些文档可能帮助您