通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
提交作业
E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。具体操作，请参见 管理文件。通过会话管理功能，您可以远程登录到集群，执行命令创建作业文件。具体操作，请...
CreateJobFile-创建一个作业文件
调用CreateJobFile创建一个作业文件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
AutoDock Vina Ehpc服务实例部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
AutoDock Vina Ehpc计算巢部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
Flink Python作业快速入门
如果Python作业文件为.zip文件，则需要在此处输入您的Entry Module，例如word_count。无需填写 Entry Point Main Arguments 填写输入数据文件的OSS路径。说明 本示例中输入数据文件、输出文件和测试Python存放路径一致。统一放在OSS控制台...
配置Lindorm Spark节点
{"spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"} configs参数配置：参数 说明 示例值 spark.hadoop.fs.oss.endpoint 作业文件所在OSS的Endpoint。说明 查看OSS的Endpoint，请参见 访问域名和数据中心...
使用高性能容器应用
具体操作，请参见 导入OSS作业文件到集群中。在 高性能容器应用 页面右侧 本地镜像 区域，从 集群 列表中选择目标集群。选择目标容器应用镜像，单击 操作 列的 启动作业。在 启动作业 对话框，完成作业参数配置。更多作业参数信息，请参见 ...
ListJobTemplates-查询作业模板列表
user1 InputFileUrl string 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 解压命令，当 ...
SubmitJob-提交作业
接口说明 在集群提交作业前，请确认上传作业文件（如 job.sh）到集群。具体操作，请参见 CreateJobFile。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
安装及管理Python三方包
安装方式 目前仅支持 上传安装 方式，即通过上传资源文件安装Python Module。资源类型 选择Python Module的资源类型。包括*.whl 和 自定义安装包。whl资源类型：将需要直接引用的Module的*.whl，和其所依赖的Module的*.whl 打包为.zip 压缩...
安装及管理Python三方包
安装方式 目前仅支持 上传安装 方式，即通过上传资源文件安装Python Module。资源类型 选择Python Module的资源类型。包括*.whl 和 自定义安装包。whl资源类型：将需要直接引用的Module的*.whl，和其所依赖的Module的*.whl 打包为.zip 压缩...
术语表
OutputFile Output File 输出文件 作业输出文件，存储于OSS上，由OutputLocation、OutputBucket、OutputObject唯一标识一个输出文件。OutputBucket Output Bucket 转码输出Bucket 用户指定的转码输出Bucket，OSS文件转码流程中提交作业时...
将SMB文件系统挂载点接入AD域
手动配置keytab文件 安装并启用AD域服务及DNS服务。具体操作，请参见 安装AD域控制器。登录AD控制器所在的ECS服务器。打开CMD命令窗口，执行以下命令为SMB文件系统创建服务账号。dsadd user CN=<AD服务账号名>,DC=域域名>,DC=...
ACID语义
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
NAS性能测试
fio-numjobs=1-iodepth=128-direct=1-ioengine=libaio-sync=1-rw=randwrite-bs=1M-size=1G-time_based-runtime=60-name=Fio-directory=mnt 测试结果样例：Windows系统下的性能测试 本节以通用容量型NAS挂载到 Z 盘，FIO可执行文件安装在 ...
DescribeJobGroup
100.xlsx 作业文件上传后的文件key JobGroupDescription String 催收作业组 作业组描述 JobGroupId String fce6c599-8ede-40e3-9f78-0928eda7b4e8 作业组id JobGroupName String 催收作业组 作业组名字 MinConcurrency Long 1 最低保障并发...
概览
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，...更多信息，请参见 安装文件系统SDK、SDK示例。
SDK示例
说明 如果您已参考 安装文件系统SDK 将 文件存储 HDFS 版 文件系统SDK部署到应用的依赖环境中，则不需要将下面依赖打包到您的应用中。dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common!Hadoop...
QueryFpFileDeleteJobList-查询删除DNA文件
查询删除DNA文件作业。接口说明 本接口通过 DNA 文件删除作业 ID 查询作业详情，如果为空则返回最近 20 个作业列表。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多...
V0.19之前版本安装方法
使用bash执行的：bash mindopt-install-osx-0.19.0.sh-target$HOME/mindopt 或使用zsh执行的：zsh mindopt-install-osx-0.19.0.sh-target$HOME/mindopt 求解器安装后的文件目录结构如下图示意，会包含：0.19.0 根文件夹，代表不同的软件...
API概览
QueryFpFileDeleteJobList 查询删除DNA文件 查询删除DNA文件作业。SubmitFpDBDeleteJob 提交清空或删除DNA库 提交清空或删除DNA库作业。QueryFpDBDeleteJobList 查询清空或删除DNA库 查询清空或删除DNA库作业。ListFpShotImportJob 查询...
部署本地文件网关控制台
本文介绍如何通过镜像部署本地文件网关控制台，包括下载镜像、安装镜像、网络配置和激活网关等步骤。前提条件 已注册阿里云账号，并完成实名认证，详情请参见 阿里云账号注册流程。说明 建议您使用RAM账户登录云存储网关控制台进行相关操作...
求解器SDK下载和安装
同Linux系统，系统命令行中输入如下指令，根据指引进行安装：bash mindopt-install-osx64x86-1.2.0.sh 或者Apple Silicon芯片版本：bash mindopt-install-osx64aarch-1.2.0.sh 求解器安装完成后，安装文件目录结构如下图示意，会包含：1.1....
IDC调研工具安装
Linux(X86)云迁移中心->资源调研->离线采集->获取工具 Windows(X86)云迁移中心->资源调研->离线采集->获取工具 Linux(ARM)请提交工单获取安装包 Windows(ARM)请提交工单获取安装包 解压命令：tar zxvf idc-scanner.tar.gz 参数文件准备 ...
SAP HANA Scale-Out 部署指南
SAP HANA Scale-Out 部署指南 概述 架构总览 资源规划 前期准备 阿里云账号 VPC ECS实例 ECS Metrics Collector的安装 文件存储NAS ECS宕机迁移 HANA安装 维护主机名 创建文件系统 准备OS以及安装包 安装SAP HANA 验证集群安装 版本管理 ...
排查和处理文件备份客户端状态异常
说明 重新安装服务器操作系统后，文件备份客户端会和云备份控制台之间失去联系，造成文件备份客户端在云备份控制台显示异常。您重新安装文件备份客户端并注册后，会出现第二台名称相同的文件备份客户端。先停止新文件备份客户端服务。在 云...
使用AutoDock Vina软件进行药物筛选
步骤二：提交作业 下载并解压作业文件。下载作业文件。说明 如果集群中没有安装git，请先执行 sudo yum install-y git 安装git。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-...
使用Azkaban调度MaxCompute
基于此场景，您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前，请确认您已满足如下条件：已下载并安装MaxCompute客户端。更多安装并配置MaxCompute客户端操作，请参见 安装并配置MaxCompute客户...
普通作业快速开始
命令行工具安装和配置 作业准备 目的：统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。该作业包含3个任务：split,count 和 merge:split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中“INFO”,”WARN...
CreateJobTemplate-创建作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
EditJobTemplate-编辑作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
OSS参考使用说明
此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片管理中，所以您不仅要删除OSS文件管理中的作业残留文件，还需将OSS碎片管理中的文件碎片清理一次，否则会产生数据存储...
安装
make 将编译生成的文件安装到系统指定的目录中。make install 编译示例文件。g+test.cpp-std=c++11-fno-rtti-lalibabacloud-oss-cpp-sdk-lcurl-lcrypto-lpthread-o test.bin 重要 C++ SDK默认关闭rtti属性。因此使用g+编译运行时，请添加-...
导入OSS作业文件到集群中
创建作业时，可直接选择OSS中的作业文件，以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。上传数据 至OSS 您可以将作业数据及执行文件上传至对象存储OSS，操作步骤如下：选择与E-HPC集群相同的地域开通OSS服务。具体...
LAMMPS Ehpc服务实例部署文档
默认作业结果文件输出/home/<用户名>/目录下，本示例中的作业结果文件为/home/testuser/lammps.pbs.o0。预期返回如下：.Per MPI rank memory allocation(min/avg/max)=3.777|3.801|3.818 Mbytes Step Temp E_pair E_mol TotEng Press 0 1....
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
安装
如果您需要管理OSS存储空间、上传下载文件、管理数据、进行图片处理等，可以先安装OSS Python SDK。本文介绍如何安装OSS Python SDK。环境准备 安装 Python。OSS Python SDK适用于Python 2.6、2.7、3.3、3.4、3.5、3.6、3.7、3.8及以上版本...
安装备份客户端
安装到哪里 大规模文件系统通常设计用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。为便于进行备份，您需要：准备一台或多台物理机或虚拟机作为备份节点，然后把大规模文件系统挂载到这些节点上。挂载路径必须相同且为同...
- 产品推荐
- 这些文档可能帮助您