管理作业模板
在 提交作业 区域，完成作业参数配置，单击 图标将当前作业参数配置保存为模板。作业模板名不能和已创建的作业模板名重复，更多信息，请参见 通过控制台提交作业。使用作业模板 在创建作业时，您可以选择使用作业模板，快速创建作业。在...
提交作业
本文介绍如何使用E-HPC客户端提交作业。准备工作 提交作业前，您需要准备好作业文件，并上传到E-HPC集群中。E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。...
客户端功能概述
E-HPC客户端支持作业提交、作业查询、文件管理等功能，可以帮助您方便管理作业，提升操作体验。本文介绍E-HPC客户端的功能、方案和使用限制等。功能说明 根据工作职责和使用需求的不同，E-HPC的用户可以分为集群管理员和作业操作员。集群...
Livy
Livy是一个通过REST接口或RPC client库与Spark服务进行交互的服务。Livy支持提交Spark作业或者Spark代码片段，同步或者异步的进行结果检索以及Spark ...提交作业 您可以通过以下方式提交作业：REST API Programmatic API Java API Scala API
项目管理
参数 描述 提交作业默认用户 设置项目使用所选集群提交作业时的默认用户，默认值是hadoop，默认用户只能有一个。提交作业默认队列 设置项目使用所选集群提交作业时的默认队列，默认作业提交到default队列。提交作业用户白名单 设置可以提交...
SDK安装与使用
需要是JSON格式*@return Spark JobId,提交作业成功,返回作业的ID,用于后续的状态跟踪*@throws ClientException 提交作业可能因为网络原因等抛出错误*/public String submitSparkJob(String regionId,String accessKeyId,String ...
查看作业列表
作业名 提交作业的名称。类型 组件的类型。状态 作业当前的状态。状态包括已提交、执行中、结束、失败、完成中、提交失败、任务无效、等待重试和失败中。模式 提交作业的模式。用户 提交作业的用户。创建时间 作业开始创建的时间。结束时间...
通过控制台提交作业
E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC管理控制台提交作业。前提条件 集群和集群节点状态都为 运行中。已创建用户，具体操作，请参见 管理用户。已准备好作业文件。E-HPC支持多种...
通过控制台提交作业
视频教程 相关文档 通过控制台提交作业 使用LAMMPS软件进行工业仿真
前言
镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的细节。工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
提交Spark作业
EMR支持CRD、spark-submit和控制台终端三种方式提交作业。本文为您介绍如何通过这三种方式提交Spark作业。前提条件 已在EMR on ACK控制台创建Spark集群，详情请参见 创建集群。注意事项 在本文的示例中，JAR包已经直接打包在了镜像中。如果...
获取App信息
Default number 参数默认值 Overwritable boolean 用户使用该APP提交作业时，是否可以覆盖掉默认值 MinDiskSize 参数名称 类型 描述 Description string 给APP使用者的详细描述 Default number 参数默认值 Overwritable boolean 用户使用该...
查看操作日志
E-HPC客户端操作日志记录了近30天内，集群用户在客户端上的操作行为，包括登录客户端、提交作业、查询作业等操作。您可以根据需要进行查询，并审计是否存在异常操作。操作步骤 登录E-HPC客户端。具体操作，请参见 登录E-HPC客户端。在左侧...
功能特性
用户使用工具（如 SDK，命令行工具等）向 BatchCompute 提交作业，BatchCompute 使用用户指定的镜像（如：ubuntu）启动虚拟机（VM）,在虚拟机中运行用户程序,运行完成后释放虚拟机（VM）。BatchCompute 中使用 OSS 作为持久化存储。您可以...
提交作业
批量计算目前支持命令行，控制台和SDK提交作业，本文介绍将作业提交到批量计算的相关操作。提交作业的方法 使用命令行 bcs sub"python test.py"-p./test.py 该命令会将 test.py 文件打包成 worker.tar.gz 并上传到指定位置，然后再提交作业...
作业类型
自动集群作业 自动集群在提交作业时指定需要的实例数和实例规格，实际运行任务的时候系统自动创建集群，运行任务完成后自动释放。不在乎等待时间长，或者作业较少情况下，可以使用自动集群。组合集群作业 您有很多自动集群的作业时...
DLA Spark快速入门
准备事项 您需要在提交作业之前首先创建虚拟集群，具体操作请参考 创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为 Spark。如果您是子账号登录，需要配置子账号提交作业的权限，具体操作请参考 快速配置子账号权限。操作步骤 登录 云...
使用镜像
提交作业或者创建集群时，需要指定BatchCompute镜像ID，BatchCompute系统将使用您指定的镜像启动VM。BatchCompute 镜像有别于ECS公共镜像，来源有2种：直接使用批量计算服务官方提供的公共镜像。在云市场购买批量计算服务指定的镜像。1....
项目管理
配置项 描述 提交作业默认用户 设置项目使用所选集群提交作业时的默认用户，默认值是hadoop，默认用户只能有一个。提交作业默认队列 设置项目使用所选集群提交作业时的默认队列，默认作业提交到default队列。提交作业用户白名单 设置可以...
创建作业
说明 本示例使用名为gmx.test的用户提交作业，在一个包含8 vCPU和1块P100 GPU卡的计算节点compute000上运行。在实际使用场景中您可根据集群配置情况做出适当修改。bin/sh#PBS-j oe#PBS-l select=1:ncpus=8:mpiprocs=4#PBS-q workq export ...
SDK安装与使用
使用SDK提交作业的代码如下所示：def submit_spark_job(region:str,access_key_id:str,access_key_secret:str,cluster_name:str,job_config:str):"""提交一个Spark job,返回job_id:param region:提交作业的区域ID:param access_key_id:用户...
监控作业
提交作业到E-HPC集群后，您可以在控制台查看作业监控数据，包括运行、提交、排队和完成作业数，便于您了解集群内作业的运行情况，及时调整集群规模和作业任务，提升集群工作效率。前提条件 支持作业监控的集群需满足以下条件：调度器为PBS...
入门概述
创建用户 您必须提前创建用户，用于在集群中提交作业时标识身份。创建成功后，您可以使用该用户管理集群、提交作业等。创建作业 作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您...
在Serverless集群中提交作业
创建Serverless集群后，您可以在集群中提交作业，系统会自动创建ECI实例来运行作业。本文介绍如何在Serverless集群中提交作业。背景信息 在Serverless集群中提交作业后，系统会自动创建ECI实例来运行作业。一个ECI实例主要包含以下几部分...
获取App列表
Default string 参数默认值 Overwritable boolean 用户使用该APP提交作业时，是否可以覆盖掉默认值 InstanceCount 参数名称 类型 描述 Description string 给APP使用者的详细描述 Default number 参数默认值 Overwritable boolean 用户使用...
获取App详情
Default number 参数默认值 Overwritable boolean 用户使用该APP提交作业时，是否可以覆盖掉默认值 MinDiskSize 参数名称 类型 描述 Description string 给APP使用者的详细描述 Default number 参数默认值 Overwritable boolean 用户使用该...
基础使用
方式二：使用 flink run 命令提交作业时，通过-D指定配置项的值，例如 flink run-application-t yarn-application-D state.backend=rocksdb.方式三：在/etc/taihao-apps/flink-conf/flink-conf.yaml配置文件中指定配置项的值。如果没有...
功能发布记录
2023年 2023年9月 功能名称 变更类型 功能描述 发布时间 相关文档 通过Serverless集群提交作业 新增 Serverless集群的计算节点由ECI实例组成，您只需提供打包好的容器镜像，即可使用ECI实例来运行作业。2023-09-08 创建Serverless集群 在...
什么是弹性高性能计算E-HPC
用户管理 节点管理 自动伸缩 提交作业 通过控制台即可提交作业，小型作业脚本可以在控制台直接编辑提交，大型作业可通过OSS上传提交。您也可以直接通过远程SSH命令行的方式访问集群提交作业。作业管理 作业提交 性能分析 通过E-HPC优化器...
产品架构
您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并管理作业生命周期（比如停止已提交的作业，释放已完成的作业等）。运行环境 BatchCompute 允许用户通过自定义虚拟机镜像或者 Docker 的方式对运行环境进行高度定制，可以...
如何提交作业
')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您提供的配置去申请虚拟机资源。批量计算启动虚拟机，并在虚拟机中运行 python test.py，得到结果后自动上传到 OSS 中。您前往 OSS 查看运行结果。1.提交作业的方法...
准备工作
使用 BatchCompute-cli 命令行工具，您可以快速提交作业，可以很方便的管理作业和集群。说明：本工具只在 Python 2.7，3.4，3.5 版本测试通过，其他Python版本慎用。安装 pip install batchcompute-cli#如果以前安装过，使用以下命令升级 ...
提交作业和查看作业信息
本文为您介绍如何提交作业和查看作业信息。前提条件 已登录集群，详情请参见 登录集群。提交作业 方式一：交互式提交作业 登录集群后，执行以下命令启动streaming-sql。streaming-sql 直接输入streaming-sql支持的DDL或DML语句。方式二：...
JAR作业开发实践
本文介绍Lindorm计算引擎JAR作业开发的详细步骤。前提条件 已创建并开通Lindorm实例的宽表引擎，具体操作请参见 创建...通过Lindorm控制台提交作业，操作方法请参见 通过控制台管理作业。通过DMS提交作业，操作方法请参见 通过DMS管理作业。
细粒度配置RAM子账号权限
权限策略的说明如下：权限策略名称 权限策略说明 AliyunDLAFullAccess 用于数据湖分析的管理员权限，拥有数据湖分析的所有权限，可以执行新建集群、删除集群、提交作业等操作，停止其它账号的作业等操作。拥有授权给DLA账户的角色的使用权...
创建App
默认值：False Config object(Config)否 提交作业时的运行时参数 InputParameter 参数名称 类型 必选 描述 Description string 否 参数描述。长度不能大于1000。默认值：空 Type string 否 参数类型。枚举类型，可选值为：String、Number。...
提交Flink作业
方式一：通过ACK控制台提交作业 登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群所在行 所属ACK集群 列的链接。在 容器组 页面，单击右上角的 使用YAML创建资源。在 创建 页面，从 示例模板 列表中，选择 自定义，模板内容请复制...
快速使用EMR on ACK
步骤三：提交作业 集群创建成功后，您可以提交作业。本文以通过CRD方式提交Spark作业为例介绍。关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto...
DAG作业快速开始
提交作业 在 sum.sh 所在目录运行下面的命令来提交作业：bcs sub"sh sum.sh"-p sum.sh-r oss:/your-bucket/sum/inputs/:/home/inputs/-w oss:/your-bucket/sum/outputs/:/home/outputs/这里使用 默认镜像和默认实例类型。r 表示只读挂载，...
- 产品推荐
- 这些文档可能帮助您