管理缓存
语法 alluxio fs persist示例：将Alluxio中 tmp 目录持久化到底层文件系统中。alluxio fs persist/tmp 返回如下信息。persisted file/tmp with size 46 setTtl 设置文件或目录的生存时间（TTL），单位为毫秒。如果当前时间大于该文件的创建...
公测期间使用文件系统有哪些限制？
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万 单个文件系统最多包含挂载点数量：2 单个用户可以创建...
删除文件系统
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作，请参见 删除挂载点。...在 文件系统操作 区域，单击 删除文件系统。警告 文件系统实例一旦删除，数据将不可恢复，请谨慎操作。
挂载文件存储 HDFS 版文件系统
本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK，且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端，建议您使用...
快速入门（CPFS-POSIX）
步骤二：添加POSIX挂载点和添加管理节点安全组 在左侧导航栏，选择 文件系统>文件系统列表，单击刚创建的文件系统名称。在文件系统的详情页面，选择 POSIX挂载使用 页签。添加POSIX客户端挂载点。单击 添加POSIX客户端挂载点，配置如下必要...
其他问题
目前仅支持Linux操作系统挂载NFS文件系统，Windows操作系统挂载SMB文件系统、Windows操作系统挂载NFS文件系统及Linux操作系统挂载SMB文件系统场景，请您登录ECS实例执行命令挂载。更多信息，请参见 Windows系统挂载SMB协议文件系统、...
挂载文件系统失败故障排查
NAS文件系统目录。mnt：当前服务器上待挂载的本地路径。修正挂载配置后，自动检查脚本会返回挂载命令，并提示检查结束。复制并执行挂载命令，检查挂载结果。Windows挂载SMB协议文件系统失败自动检查脚本 Windows挂载SMB协议文件系统失败...
快速入门
执行命令${HADOOP_HOME}/bin/hadoop fs-df 返回示例 如果返回如下类似信息，则表示挂载 文件存储 HDFS 版 文件系统成功。Filesystem Size Used Available Use%dfs:/f-e389e5c7e*....
挂载访问FAQ
访问NAS文件系统目录下的文件时，返回bind conn to session failed on NFSv4 server该如何解决？容器挂载 为什么卸载旧NAS并重新挂载新NAS后，容器Pod仍将数据写入旧NAS？NAS是否支持作为Docker服务的存储目录？使用容器挂载NAS时，提示...
HDFS常见命令介绍
语法 hadoop fs-touchz URI[URI.]示例：在HDFS文件系统中新建/dir/目录下的 emptyfile.txt 文件。hadoop fs-touchz/dir/emptyfile.txt 您可以通过 hadoop fs-ls/dir/命令查看新建的文件。ls 在文件或者目录创建完之后，您可以查看指定路径...
解决Linux实例磁盘空间满问题
二、磁盘分区Inode使用率达到100%磁盘分区Inode是文件系统中的一个重要概念，文件系统内每个文件和目录都由一个唯一的Inode标识。每个磁盘分区在格式化时会预分配一定数量的Inodes，但是如果文件系统中存在大量小文件或目录，Inode资源也...
API概览
ListFileSystems 批量获取文件系统详细信息 批量获取文件系统详细信息。GetFileSystem 获取文件系统详细信息 查询文件系统信息。挂载点 API 标题 API概述 CreateMountPoint 创建挂载点 创建一个挂载点。DeleteMountPoint 删除挂载点 删除...
扩容分区和文件系统（Linux）
准备工作：获取 目标云盘信息 执行扩容分区和文件系统操作前，请先获取待扩容云盘和云盘分区信息。方式一：通过命令行获取 远程连接ECS实例。具体操作，请参见 通过密码或密钥认证登录Linux实例。运行以下命令，确认待扩容云盘及其分区信息...
Linux实例磁盘空间满和Inode满的问题排查方法
说明 在原有文件系统的目录下已经存在大量文件，挂载新磁盘后挂载点（目录）被覆盖。但您系统内的应用可能仍会继续读写原有文件系统空间，这时就有可能出现您的应用报空间不足，但您使用 df 或 du 命令查看磁盘文件目录的容量使用情况时却...
通过Amazon S3协议挂载OSS
本文介绍如何通过s3fs、goofys以及Rclone在不同操作系统中将OSS Bucket挂载到本地文件系统，让您能够像操作本地文件一样操作OSS的对象（Object），实现数据的共享。前提条件 已创建RAM用户并获取访问密钥（AccessKey）。具体操作，请参见 ...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
运行完毕后，dd 会输出一些信息，包括读取的总字节数以及操作耗费的时间，用来计算读取数据的速率，可以评估NFS文件系统的性能表现。影响范围 该问题主要在以下ECS实例中存在：镜像：aliyun_3_x64_20G_alibase_20210415.vhd及之后的所有...
在文件存储 HDFS 版上使用TensorFlow
已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群所有节点安装JDK，且版本不能低于1.8。已根据目前使用的TensorFlow版本下载 源码。本文使用的TensorFlow版本为1.15.0。背景信息 TensorFlow是...
使用NAS动态存储卷
当多个应用或者Pod需要挂载相同的NAS存储卷共享数据时，或者不同的Pod挂载相同的NAS文件系统的不同子目录时，您可以使用subpath方式进行挂载。filesystem方式：仅支持通过kubectl命令行方式操作。当您的Kubernetes应用需要动态创建和删除...
使用NAS动态存储卷
当多个应用或者Pod需要挂载相同的NAS存储卷共享数据时，或者不同的Pod挂载相同的NAS文件系统的不同子目录时，您可以使用subpath方式进行挂载。filesystem方式：仅支持通过kubectl命令行方式操作。当您的Kubernetes应用需要动态创建和删除...
迁移开源HDFS的数据到文件存储 HDFS 版
具体操作，请参见 挂载文件存储HDFS版文件系统。验证迁移集群和 文件存储 HDFS 版 实例之间的连通性。执行以下命令，在 文件存储 HDFS 版 上创建目录（例如/dfs_links）。hadoop fs-mkdir/dfs_links 执行以下命令，验证连通性。hadoop fs-...
访问NFS共享目录
自动挂载NFS共享目录 为避免已挂载文件系统的客户端重启后，挂载信息丢失，您可以通过在Linux实例中配置/etc/fstab（推荐使用）文件或/etc/rc.local文件，实现在客户端设置重启时NFS文件系统自动挂载。重要 在配置自动挂载前，请先确认手动...
使用NAS动态存储卷
通过kubectl命令行方式使用filesystem类型的NAS动态存储卷 重要 filesystem类型的NAS动态卷在删除时默认保留文件系统和挂载点，暂不支持在释放PV资源的同时释放NAS文件系统和挂载点。当您的Kubernetes应用需要动态创建和删除NAS文件系统和...
什么是文件存储CPFS
文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
性能说明FAQ
通用型NAS 单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值）越高。更多信息，请参见 通用型NAS。极速型NAS 单个文件系统的读写性能随配置容量的增长呈阶梯式增长...
导入镜像必读
为了使导入后的镜像支持扩容云盘与扩容文件系统，镜像必须满足以下条件：支持growpart命令。支持该命令需要安装 cloud-utils-growpart 包，不同操作系统安装方式有所不同。具体操作，请参见 扩容分区和文件系统（Linux）。支持resize2fs...
动态加载UDF
方式二：如果UDF依赖多个JAR包，且不想打成一个包，可以将UDF的所有JAR包上传到同一个目录下（例如，udfdir），再将该目录完整上传到文件系统中。重要 目录名不可与现有连接器或UDF重名。目录下尽量不要有无关内容。目录需要配置权限。步骤...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
CDH6数据迁移
如果CDH原HDFS文件系统上的数据量较小，可以使用 hadoop fs-cp 命令进行数据迁移。为了避免因为权限问题导致数据迁移失败，建议切换到hdfs用户执行命令。sudo-u hdfs hadoop fs-cp-ptop hdfs:/oldclusterip:8020/user dfs:/f-...
快速入门（Windows）
当您要访问文件存储NAS中的数据时，需要先创建文件系统并完成挂载操作。本文介绍如何在NAS控制台创建SMB文件系统，并在专有网络下通过ECS实例（Windows Server 2019）挂载SMB文件系统实现数据的上传与下载。前提条件 已开通文件存储NAS服务...
访问SMB共享目录
背景信息 通过Windows操作系统中的客户端访问本地文件网关，首先需要将本地文件网关的共享目录添加到本地的映射网络驱动器，建立本地目录与本地文件网关的共享目录之间的映射。建立映射成功后，您可以像操作本地目录一样操作共享目录。说明...
开通日志分析功能
具体操作，请参见 挂载文件系统目录说明。已授权NAS使用AliyunNASLogArchiveRole角色访问日志服务。单击 云资源访问授权，根据提示完成授权。该操作仅在首次配置时需要，且需要由阿里云账号完成。警告 请勿取消授权或删除...
文件存储NAS的审计事件
文件存储NAS已与操作审计服务集成，您可以在操作审计中查询用户操作文件存储产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
使用JindoFuse挂载访问
如果您希望将OSS-HDFS服务映射为一个本地文件系统，然后通过标准的文件系统接口（例如读、写、删除文件等）访问OSS-HDFS服务中的文件，您可以使用JindoFuse挂载访问的方式。JindoFuse是一个开源的分布式文件系统访问工具，同时兼容POSIX，...
目录配额
当您需要对通用型NAS文件系统中某个目录所能包含的文件数量或者文件大小或者某个用户所能使用的资源进行限制时，您可以通过配额管理功能中的目录配额或用户配额进行配置。同时，同一个路径下，您还可以为多个用户设置不同的资源配额。前提...
实例启动异常常见错误与对应解决方案
1662001136：Windows系统的文件系统出现异常 问题现象 通过VNC登录实例时，Windows系统启动界面显示 Checking file system on、CHKDSK is verifying files 或 CHKDSK is verifying indexes 错误信息。问题原因 导致该问题的可能原因如下：...
挂载文件系统场景说明
创建NAS文件系统实例后，您还需要将NAS文件系统以目录形式挂载至一个或多个计算节点中，才能实现共享...卸载文件系统目录 如果您想卸载在计算节点上挂载的文件系统目录，请参见以下文档：通过NAS控制台卸载挂载目录 通过执行命令卸载挂载目录
加速主机目录数据访问
JindoRuntime是基于阿里云EMR团队的JindoFS文件系统开发的Fluid运行时引擎。JindoFS基于C++实现，能够为Fluid提供Dataset数据管理和缓存功能。JindoRuntime支持对Kubernetes环境主机目录HostPath中的数据进行缓存，从而提升后续数据访问...
使用限制
文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可挂载计算节点的数量 数量不限 单个文件系统的最大目录层级 1000层 单个文件系统最大文件或目录...
管理Hive Catalog
fs.defaultFS 表数据默认存放的文件系统。如果是写OSS-HDFS，请确保该值为目标Bucket对应HDFS服务的域名，例如 oss:/oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/ 。将以下配置文件上传到 hadoop-conf-dir 目录。上传文件的操作请...
使用PyJindo访问阿里云OSS-HDFS
方式二：使用fsspec接口 通过使用fsspec这一通用文件系统接口标准，您可以方便地使用集成的JindoOssFileSystem类来与阿里云OSS-HDFS进行交互。日志级别和API相关内容，请参见 日志等级 和 API说明。更多接口上说明，请参见 fsspec。步骤一...
- 产品推荐
- 这些文档可能帮助您