通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
提交作业
E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。具体操作，请参见 管理文件。通过会话管理功能，您可以远程登录到集群，执行命令创建作业文件。具体操作，请...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
CreateJobFile-创建一个作业文件
调用CreateJobFile创建一个作业文件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
导入OSS作业文件到集群中
创建作业时，可直接选择OSS中的作业文件，以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。上传数据 至OSS 您可以将作业数据及执行文件上传至对象存储OSS，操作步骤如下：选择与E-HPC集群相同的地域开通OSS服务。具体...
Flink Python作业快速入门
如果Python作业文件为.zip文件，则需要在此处输入您的Entry Module，例如word_count。无需填写 Entry Point Main Arguments 填写输入数据文件的OSS路径。说明 本示例中输入数据文件、输出文件和测试Python存放路径一致。统一放在OSS控制台...
计量计费
费用计算规则 MaxCompute SQLML底层的机器学习能力，是通过阿里云 人工智能平台 PAI 产品独立计费的，所以MaxCompute SQLML费用分为以下两部分：SQL作业：计算费用和存储费用按照MaxCompute SQL计费规则计费，请参见 计费项与计费方式概述...
AutoDock Vina Ehpc服务实例部署文档
AliyunComputeNestUserFullAccess 管理计算巢服务（ComputeNest）的用户侧权限 计费说明 AutoDock Vina社区版在计算巢部署的费用主要涉及：弹性高性能计算集群（EHPC）费用 文件系统（NAS）费用 流量带宽费用 部署架构 服务实例由一个EHPC...
自动伸缩最佳实践
在编辑作业文件页面，配置lj.in文件和AutoScaling.pbs，单击 确认 提交作业。lj.in算例参数及说明，请参见 使用LAMMPS软件进行高性能计算。AutoScaling.pbs配置如下所示：#!bin/sh#PBS-l select=3:ncpus=1:mpiprocs=1#该脚本在3个计算节点...
通过命令行提交作业
提交作业 请根据集群的调度器类型，以及您准备好的作业文件，编写作业脚本，并提交作业。示例如下：说明 自动伸缩场景下，E-HPC不支持基于内存来扩缩容，建议您在提交作业时指定作业所需的vCPU数。PBS 编写作业脚本，脚本文件命名为...
AutoDock Vina Ehpc计算巢部署文档
AliyunComputeNestUserFullAccess 管理计算巢服务（ComputeNest）的用户侧权限 计费说明 AutoDock Vina社区版在计算巢部署的费用主要涉及：弹性高性能计算集群（EHPC）费用 文件系统（NAS）费用 流量带宽费用 部署架构 部署由一个ehpc集群...
配置Lindorm Spark节点
{"spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"} configs参数配置：参数 说明 示例值 spark.hadoop.fs.oss.endpoint 作业文件所在OSS的Endpoint。说明 查看OSS的Endpoint，请参见 访问域名和数据中心...
使用高性能容器应用
具体操作，请参见 导入OSS作业文件到集群中。在 高性能容器应用 页面右侧 本地镜像 区域，从 集群 列表中选择目标集群。选择目标容器应用镜像，单击 操作 列的 启动作业。在 启动作业 对话框，完成作业参数配置。更多作业参数信息，请参见 ...
使用Azkaban调度MaxCompute
基于此场景，您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前，请确认您已满足如下条件：已下载并安装MaxCompute客户端。更多安装并配置MaxCompute客户端操作，请参见 安装并配置MaxCompute客户...
使用AutoDock Vina软件进行药物筛选
步骤二：提交作业 下载并解压作业文件。下载作业文件。说明 如果集群中没有安装git，请先执行 sudo yum install-y git 安装git。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
ACID语义
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
EditJobTemplate-编辑作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
CreateJobTemplate-创建作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
SubmitJob-提交作业
接口说明 在集群提交作业前，请确认上传作业文件（如 job.sh）到集群。具体操作，请参见 CreateJobFile。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
功能概览
阿里云NAS收取公网读取文件费用和存储文件费用，阿里云OSS收取存储文件费用。计费详情请参见 阿里云NAS计费概述 和 阿里云OSS计费概述。安装客户端 同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储前，您需要在数据源...
API概览
CreateJobFile 创建一个作业文件 调用CreateJobFile创建一个作业文件。ListJobs 查询作业列表 调用ListJobs查询指定集群中的作业列表。DescribeJob 查询作业信息 调用DescribeJob查询一个集群内指定作业的详细信息。ListJobsWithFilters ...
ListJobTemplates-查询作业模板列表
user1 InputFileUrl string 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 解压命令，当 ...
弹性高性能计算E-HPC的审计事件
CreateJobFile 创建作业文件。CreateJobTemplate 创建作业模板。DeleteCluster 释放集群。DeleteContainerApps 批量删除容器应用。DeleteGWSCluster 删除可视化服务集群。DeleteGWSInstance 删除可视化实例。DeleteImage 删除本地镜像。...
MaxCompute后付费消费突增排查
在排除业务增长的情况下，可以进行费用分析，排查导致费用突增的项目、作业是哪些，进而及时优化和调整作业，优化成本。本文为您介绍如何结合账单详情和MaxCompute元数据服务（Information Schema）排查MaxCompute后付费消费突增。背景信息...
Jupyter交互式作业开发
您可以选择如下两种方案避免编辑文件丢失：在启动Jupyter交互式开发环境时，将宿主机文件挂载到Docker容器中，并将作业文件存储在对应的文件路径下。格式为-v 宿主机路径:Docker容器文件路径。Docker容器文件路径可任意填写，建议填写为/...
API概览
QueryFpFileDeleteJobList 查询删除DNA文件 查询删除DNA文件作业。SubmitFpDBDeleteJob 提交清空或删除DNA库 提交清空或删除DNA库作业。QueryFpDBDeleteJobList 查询清空或删除DNA库 查询清空或删除DNA库作业。ListFpShotImportJob 查询...
查询加速（MCQA）
缓存计费规则 缓存的查询结果不会产生任何存储及计算费用，可以有效降低资源使用费用。缓存验证 您可以获取查询作业的Logview信息，并在 Job Details 页签，查看到查询作业运行结果已写入缓存中，如下图示所示。更多获取Logview信息，请...
QueryFpFileDeleteJobList-查询删除DNA文件
查询删除DNA文件作业。接口说明 本接口通过 DNA 文件删除作业 ID 查询作业详情，如果为空则返回最近 20 个作业列表。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多...
DescribeJobGroup
100.xlsx 作业文件上传后的文件key JobGroupDescription String 催收作业组 作业组描述 JobGroupId String fce6c599-8ede-40e3-9f78-0928eda7b4e8 作业组id JobGroupName String 催收作业组 作业组名字 MinConcurrency Long 1 最低保障并发...
Jupyter交互式作业开发
AnalyticDB for MySQL 相关使用文档，请参见 Jupyter交互式作业开发。注意事项 DLA Spark当前支持python3，Scala 2.11的Jupyter可交互作业。新版Jupyter Lab对Python的最低版本要求是Python 3.6。推荐 使用Docker快速启动环境 方式来使用本...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
监控报警
在使用MaxCompute过程中，您可能需要通过监测MaxCompute包年包月资源、按量计费作业消费 及Tunnel上传下载情况等，了解资源的运行状况，以便及时升级资源或规划作业。您也可以通过设置报警规则，当资源状况符合报警规则时，云监控自动发送...
客户端功能概述
E-HPC客户端主要面向作业操作员，支持作业提交、作业文件管理等功能。具体功能如下：功能模块 说明 作业查询 支持按多种条件查询作业数据，以便调整作业任务。作业提交 支持通过界面、脚本或者作业模板来提交作业。应用中心 支持配置...
提交作业
提交一个目录（多文件）的作业 一般这种情况：src目录下有多个文件,如：src|-test.py|-dep.py 而 test.py 需要依赖dep.py，则可以将整个目录一起打包。bcs sub"python test.py"-p./src/将src目录下的所有文件打包到 worker.tar.gz,然后上传...
【公告】数据库文件存储计费方式调整
尊敬的阿里云用户，阿里云将于2023年05月04日起调整数据库文件存储计费方式。调整时间 2023年05月04日18:00:00。调整地域 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）。调整内容 调整前 调整后 计费方式 按小时计费，不足...
计算费用（按量付费）
SQL作业计费预估方法 您可以通过SQL费用预估方法，提前预估SQL费用，防止计费费用过高。常见预估SQL费用方法如下。如果您使用DataWorks开发SQL，可以通过图形界面上的费用预估功能估算费用。详情请参见 使用DataWorks开发SQL。如果您使用的...
功能发布记录
2021-12-07 创建混合云集群 提交作业 优化 提交作业界面更新，支持Workbench登录集群编辑作业文件。2021-11-25 通过控制台提交作业 扩容混合云集群 优化 混合云集群支持多可用区扩容，您可以根据业务需求，选择不同的扩容策略。2021-10-26 ...
按量付费闲时版
计费说明 类型 计费公式 价格 SpotSQL作业（指计算配额为os_SpotQuota的普通SQL或查询加速SQL作业）SpotSQL作业当日总费用=计算输入数据量×SQL复杂度×单价 计费单价如下：公共云：0.1元/GB 金融云：0.19元/GB 引用外部表的SpotSQL作业...
计费概述
CPFS-POSIX管理节点费用 在文件存储控制台为CPFS文件系统添加POSIX挂载点时创建的3个用于客户端管理的ECS实例，将根据云服务器ECS的产品价格计费。具体费用，请参见 实例规格计费。事件费用 配置数据流动的自动更新功能时，CPFS需要通过...
- 产品推荐
- 这些文档可能帮助您