CreateJobFile-创建一个作业文件
QAZ*Content string 是 作业文件内容，是以 Base64 编码的文本内容。c2xlZXAgMzA=TargetFile string 是 作业文件名称。lammps.pbs Async boolean 否 采用异步消息链路提交作业文件。默认值：false。false 返回参数 名称 类型 描述 示例值 ...
导入OSS作业文件到集群中
创建作业时，可直接选择OSS中的作业文件，以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。上传数据 至OSS 您可以将作业数据及执行文件上传至对象存储OSS，操作步骤如下：选择与E-HPC集群相同的地域开通OSS服务。具体...
小文件优化及作业诊断常见问题
本文为您介绍小文件优化以及作业诊断时的常见问题。问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的...
Flink Python作业快速入门
如果Python作业文件为.zip文件，则需要在此处输入您的Entry Module，例如word_count。无需填写 Entry Point Main Arguments 填写输入数据文件的OSS路径。说明 本示例中输入数据文件、输出文件和测试Python存放路径一致。统一放在OSS控制台...
数据库实时入仓快速入门
flink-test 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
提交作业
E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。具体操作，请参见 管理文件。通过会话管理功能，您可以远程登录到集群，执行命令创建作业文件。具体操作，请...
自动伸缩最佳实践
在编辑作业文件页面，配置lj.in文件和AutoScaling.pbs，单击 确认 提交作业。lj.in算例参数及说明，请参见 使用LAMMPS软件进行高性能计算。AutoScaling.pbs配置如下所示：#!bin/sh#PBS-l select=3:ncpus=1:mpiprocs=1#该脚本在3个计算节点...
控制台快速开始
介绍如何使用控制台来提交一个作业，目的是统计一个日志文件中 INFO、WARN、ERROR、DEBUG 出现的次数。步骤预览 作业准备 上传数据文件到 OSS 上传任务程序到 OSS 使用控制台提交作业 查看作业状态 查看结果 1.作业准备 本作业是统计一个...
Python SDK 快速开始
本文档将介绍如何使用 Python 版 SDK 来提交一个作业，目的是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。作业准备 上传数据文件到 OSS 上传任务程序到 OSS 使用 SDK 创建（提交）作业 查看结果 1.作业准备 本...
使用高性能容器应用
具体操作，请参见 导入OSS作业文件到集群中。在 高性能容器应用 页面右侧 本地镜像 区域，从 集群 列表中选择目标集群。选择目标容器应用镜像，单击 操作 列的 启动作业。在 启动作业 对话框，完成作业参数配置。更多作业参数信息，请参见 ...
通过命令行提交作业
提交作业 请根据集群的调度器类型，以及您准备好的作业文件，编写作业脚本，并提交作业。示例如下：说明 自动伸缩场景下，E-HPC不支持基于内存来扩缩容，建议您在提交作业时指定作业所需的vCPU数。PBS 编写作业脚本，脚本文件命名为...
媒体信息
媒体信息作业是指对输入文件进行深度分析和元数据提取，并返回输入文件的媒体信息。本文提供了Java SDK媒体信息作业相关功能的API调用示例，包含提交媒体信息作业、查询媒体信息作业。前提条件 使用前请先初始化客户端，详细说明请参见 ...
Java SDK 快速开始
本文档将介绍如何使用 Java 版 SDK 来提交一个作业，目的是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。步骤 作业准备 上传数据文件到 OSS 使用示例代码 编译打包 上传到 OSS 使用 SDK 创建（提交）作业 查看结果...
API概览
CreateJobFile 创建一个作业文件 调用CreateJobFile创建一个作业文件。ListJobs 查询作业列表 调用ListJobs查询指定集群中的作业列表。DescribeJob 查询作业信息 调用DescribeJob查询一个集群内指定作业的详细信息。ListJobsWithFilters ...
弹性高性能计算E-HPC的审计事件
CreateJobFile 创建作业文件。CreateJobTemplate 创建作业模板。DeleteCluster 释放集群。DeleteContainerApps 批量删除容器应用。DeleteGWSCluster 删除可视化服务集群。DeleteGWSInstance 删除可视化实例。DeleteImage 删除本地镜像。...
计算资源使用
作业类型取值如下：SQL：SQL作业 SQLRT：查询加速SQL作业 SQLCost：SQL预估作业 LOT：MapReduce作业 CUPID：Spark或Mars作业 AlgoTask：机器学习作业 作业优先级 输入需要配置到规则里的作业优先级。输入 0-9 优先级区间，如：[0,3]表示...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
获取作业
请求语法 GET/jobs/{ Id } 属性说明 属性名称 类型 是否必须 描述 Id string 是 作业标识符。返回信息 成功 返回200状态码以及Job的状态信息，如下。{"Name":"demoJob","Id":"job-0000000058184218000008150000000D","OwnerId":123456,...
读写访问文件类问题
前缀为.nfs的文件是怎么产生的？如何删除？访问NAS文件系统目录下的文件时，返回bind conn to session failed on NFSv4 server该如何解决？如何处理多个ECS实例挂载同一NFS协议文件系统出现数据不同步的情况？为什么卸载旧NAS并重新挂载新...
API概览
QueryFpFileDeleteJobList 查询删除DNA文件 查询删除DNA文件作业。SubmitFpDBDeleteJob 提交清空或删除DNA库 提交清空或删除DNA库作业。QueryFpDBDeleteJobList 查询清空或删除DNA库 查询清空或删除DNA库作业。ListFpShotImportJob 查询...
QueryFpFileDeleteJobList-查询删除DNA文件
查询删除DNA文件作业。接口说明 本接口通过 DNA 文件删除作业 ID 查询作业详情，如果为空则返回最近 20 个作业列表。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多...
基本概念
本文介绍了 文件存储 HDFS 版 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间，可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...
CreateFile-创建目录或者文件
创建目录或者文件。接口说明 该接口只对部分用户开放。仅支持通用型 NAS 并且已开启访问控制的 SMB 协议类型文件系统。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
监控作业
提交作业到E-HPC集群后，您可以在控制台查看作业...对于提交作业数和完成作业数，统计的是作业提交时间和作业完成时间在5分钟窗口期内的作业数总和。对于运行作业数和排队作业数，统计的是5分钟窗口期内最终状态为运行中或排队中的作业数。
入门概述
在云桌面内挂载CPFS文件系统 通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 ...
常见问题
本文介绍了文件存储NAS产品简介中的常见问题。什么是文件存储NAS？阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸...
挂载访问FAQ
前缀为.nfs的文件是怎么产生的？如何删除？访问NAS文件系统目录下的文件时，返回bind conn to session failed on NFSv4 server该如何解决？容器挂载 为什么卸载旧NAS并重新挂载新NAS后，容器Pod仍将数据写入旧NAS？NAS是否支持作为Docker...
概述
为了满足开发迭代需求或业务发展需求，SQL作业也需要不断变更，否则修改SQL作业后，并使用原来的状态数据重启作业，会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始，Flink全托管提供状态兼容性检查和状态数据迁移功能，可以最大...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
作业引擎版本升级
升级流程 步骤一：备份作业状态 您可以在 作业运维 页面，单击目标作业，在作业详情中的 状态集管理 页签查看作业状态集，详情请参见 查看状态生成总览。如果您的作业属于有状态计算，那么在升级版本时，首要考虑的是状态能否复用。升级前...
使用教程（时序模型）
flink-test 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
ECS实例挂载同一NFS文件系统出现数据不同步的情况
问题描述 当您使用两个ECS实例挂载同一个NFS文件系统，在ECS A实例上追加写文件，在ECS B实例上使用 tail-f 命令查看文件内容的变化时，在ECS A实例上写完之后，在ECS B实例上查看文件内容变化会有10~30秒的延时。然而相同的场景下，如果...
常见问题
更多产品定价常见问题 挂载访问FAQ Linux挂载NFS文件系统常见问题 Windows挂载SMB文件系统常见问题 Linux挂载SMB文件系统常见问题 Windows挂载NFS文件系统常见问题 为什么卸载旧NAS并重新挂载新NAS后，容器Pod仍将数据写入旧NAS？...
常见问题
本文介绍文件存储CPFS的用户咨询和关注的一些问题，帮助您快速了解CPFS。问题概览 产品咨询类 什么是文件存储CPFS？CPFS适用什么场景？CPFS的优势有哪些？如何开通服务，并创建文件存储CPFS文件系统？如何选择CPFS的性能规格？CPFS-POSIX...
入门概述
文件系统常用操作 如果您想…您可以参考…创建文件系统 创建文件系统 添加挂载点 管理挂载点 创建权限组和规则 管理权限组 挂载文件系统 ECS实例挂载文件系统 容器挂载文件系统 函数计算挂载文件系统 跨网络或账户访问文件系统 本地数据...
SDK安装与使用
ID*@param accessKeyId 用户AccessKeyId*@param accessKeySecret 用户AccessKeySecret*@param virtualClusterName 数据湖分析虚拟集群名称*@param jobConfig 提交Spark作业的描述文件,需要是JSON格式*@return Spark JobId,提交作业成功,...
DeleteUserGroupsMapping-删除用户和组的映射关系
删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息，请参见文件...
ListUserGroupsMappings-查看用户和组的映射关系
查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...
- 产品推荐
- 这些文档可能帮助您