通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
提交作业
E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。具体操作，请参见 管理文件。通过会话管理功能，您可以远程登录到集群，执行命令创建作业文件。具体操作，请...
CreateJobFile-创建一个作业文件
调用CreateJobFile创建一个作业文件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
导入OSS作业文件到集群中
创建作业时，可直接选择OSS中的作业文件，以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。上传数据 至OSS 您可以将作业数据及执行文件上传至对象存储OSS，操作步骤如下：选择与E-HPC集群相同的地域开通OSS服务。具体...
Flink Python作业快速入门
如果Python作业文件为.zip文件，则需要在此处输入您的Entry Module，例如word_count。无需填写 Entry Point Main Arguments 填写输入数据文件的OSS路径。说明 本示例中输入数据文件、输出文件和测试Python存放路径一致。统一放在OSS控制台...
AutoDock Vina Ehpc服务实例部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
自动伸缩最佳实践
在编辑作业文件页面，配置lj.in文件和AutoScaling.pbs，单击 确认 提交作业。lj.in算例参数及说明，请参见 使用LAMMPS软件进行高性能计算。AutoScaling.pbs配置如下所示：#!bin/sh#PBS-l select=3:ncpus=1:mpiprocs=1#该脚本在3个计算节点...
配置Lindorm Spark节点
{"spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"} configs参数配置：参数 说明 示例值 spark.hadoop.fs.oss.endpoint 作业文件所在OSS的Endpoint。说明 查看OSS的Endpoint，请参见 访问域名和数据中心...
使用高性能容器应用
具体操作，请参见 导入OSS作业文件到集群中。在 高性能容器应用 页面右侧 本地镜像 区域，从 集群 列表中选择目标集群。选择目标容器应用镜像，单击 操作 列的 启动作业。在 启动作业 对话框，完成作业参数配置。更多作业参数信息，请参见 ...
使用AutoDock Vina软件进行药物筛选
步骤二：提交作业 下载并解压作业文件。下载作业文件。说明 如果集群中没有安装git，请先执行 sudo yum install-y git 安装git。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-...
AutoDock Vina Ehpc计算巢部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
通过命令行提交作业
提交作业 请根据集群的调度器类型，以及您准备好的作业文件，编写作业脚本，并提交作业。示例如下：说明 自动伸缩场景下，E-HPC不支持基于内存来扩缩容，建议您在提交作业时指定作业所需的vCPU数。PBS 编写作业脚本，脚本文件命名为...
CreateJobTemplate-创建作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
EditJobTemplate-编辑作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
使用Azkaban调度MaxCompute
基于此场景，您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前，请确认您已满足如下条件：已下载并安装MaxCompute客户端。更多安装并配置MaxCompute客户端操作，请参见 安装并配置MaxCompute客户...
ListJobTemplates-查询作业模板列表
user1 InputFileUrl string 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 解压命令，当 ...
SubmitJob-提交作业
接口说明 在集群提交作业前，请确认上传作业文件（如 job.sh）到集群。具体操作，请参见 CreateJobFile。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
API概览
CreateJobFile 创建一个作业文件 调用CreateJobFile创建一个作业文件。ListJobs 查询作业列表 调用ListJobs查询指定集群中的作业列表。DescribeJob 查询作业信息 调用DescribeJob查询一个集群内指定作业的详细信息。ListJobsWithFilters ...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
弹性高性能计算E-HPC的审计事件
CreateJobFile 创建作业文件。CreateJobTemplate 创建作业模板。DeleteCluster 释放集群。DeleteContainerApps 批量删除容器应用。DeleteGWSCluster 删除可视化服务集群。DeleteGWSInstance 删除可视化实例。DeleteImage 删除本地镜像。...
ACID语义
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
Jupyter交互式作业开发
您可以选择如下两种方案避免编辑文件丢失：在启动Jupyter交互式开发环境时，将宿主机文件挂载到Docker容器中，并将作业文件存储在对应的文件路径下。格式为-v 宿主机路径:Docker容器文件路径。Docker容器文件路径可任意填写，建议填写为/...
DescribeJobGroup
100.xlsx 作业文件上传后的文件key JobGroupDescription String 催收作业组 作业组描述 JobGroupId String fce6c599-8ede-40e3-9f78-0928eda7b4e8 作业组id JobGroupName String 催收作业组 作业组名字 MinConcurrency Long 1 最低保障并发...
Jupyter交互式作业开发
AnalyticDB for MySQL 相关使用文档，请参见 Jupyter交互式作业开发。注意事项 DLA Spark当前支持python3，Scala 2.11的Jupyter可交互作业。新版Jupyter Lab对Python的最低版本要求是Python 3.6。推荐 使用Docker快速启动环境 方式来使用本...
API概览
QueryFpFileDeleteJobList 查询删除DNA文件 查询删除DNA文件作业。SubmitFpDBDeleteJob 提交清空或删除DNA库 提交清空或删除DNA库作业。QueryFpDBDeleteJobList 查询清空或删除DNA库 查询清空或删除DNA库作业。ListFpShotImportJob 查询...
QueryFpFileDeleteJobList-查询删除DNA文件
查询删除DNA文件作业。接口说明 本接口通过 DNA 文件删除作业 ID 查询作业详情，如果为空则返回最近 20 个作业列表。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多...
使用LAMMPS软件进行工业仿真
默认作业结果文件输出/home/<用户名>/目录下，本示例中的作业结果文件为/home/testuser/lammps.pbs.o0。预期返回如下：.Per MPI rank memory allocation(min/avg/max)=3.777|3.801|3.818 Mbytes Step Temp E_pair E_mol TotEng Press 0 1....
LAMMPS Ehpc服务实例部署文档
默认作业结果文件输出/home/<用户名>/目录下，本示例中的作业结果文件为/home/testuser/lammps.pbs.o0。预期返回如下：.Per MPI rank memory allocation(min/avg/max)=3.777|3.801|3.818 Mbytes Step Temp E_pair E_mol TotEng Press 0 1....
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
Flink SQL作业快速入门
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
运行HPL、iPerf和FIO以测试集群性能
E-HPC客户端提供了可视化的页面来配置HPL、iPerf和FIO应用，可以快速提交相关作业，...当作业状态变为 FINISHED 时，单击作业对应的 详情，在 作业详情 页面单击 作业输出文件与路径 后的 查看，即可查看结果。结果示例如下：HPL iPerf FIO
使用Logview 2.0查看作业运行信息
作业详情 您可以通过作业详情区域全方位了解作业，作业详情区域包含如下功能区：Job Details 作业执行图 Job Detail 页签的上半部分为作业执行图。执行图以可视化方式展示三个维度的子任务依赖关系：Fuxi Job层、Fuxi Task层和Operation层...
使用Schrodinger软件计算分子结构
本文介绍如何使用E-HPC集群运行Schrodinger软件来...本文使用testuser用户作为示例，作业结果文件所在路径为/home/testuser/desmond_md_job_10/desmond_md_job_10-out.cms。单击 Load，可在 VMD 1.9.3 OpenGL Display 窗口查看可视化结果。
访问Kafka数据源
说明 Spark作业主文件目前只支持存储在OSS中。jars Spark作业依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。name Spark作业名称。className Java或者Scala程序入口类。Python不需要指定入口类。spark.adb.eni.enabled 是否开启ENI访问。...
通过控制台上传文件
例如：运行Python或JAR作业时，需要通过Python或JAR文件定义作业逻辑；运行Spark SQL作业时，需要通过JAR文件定义UDF函数。Lindorm支持通过HDFS Shell或控制台上传自定义文件资源。操作步骤 登录 Lindorm管理控制台。在页面左上角，选择...
Gromacs Ehpc计算巢快速部署文档
权限策略名称 备注 AliyunECSFullAccess 管理云服务器服务（ECS）的权限 AliyunEHPCFullAccess 管理弹性高性能计算（EHPC）的权限 AliyunNASFullAccess 管理文件存储（NAS）的权限 AliyunVPCFullAccess 管理专有网络（VPC）的权限 ...
使用GROMACS进行分子动力学模拟
vim gmx.pbs 作业脚本内容示例如下：说明 本示例使用名为gmx.test的用户提交作业，在一个包含8个vCPU和1块P100 GPU卡的计算节点上运行。实际使用场景中，您可根据集群配置情况做出适当修改。bin/sh#PBS-j oe#PBS-l select=1:ncpus=8:...
通过Flink读写AnalyticDB PostgreSQL数据
adbpg-test 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
使用HPL测试集群浮点性能
步骤二：提交作业 执行以下命令创建算例文件，算例文件命名为HPL.dat。vim HPL.dat 算例文件HPL.dat包含了HPL运行的参数。如下示例是在单台ecs.ebmc5s.24xlarge实例上运行HPL的推荐配置。HPLinpack benchmark input file Innovative ...
- 产品推荐
- 这些文档可能帮助您