创建文件系统
高级型：适用于大量小文件高速读写，要求时延较低，总体吞吐量不大的共享文件存储。后端使用RDMA网络，相对于标准型读写时延进一步优化，写性能更优。说明 任一可用区仅支持标准型或高级型中的一种类型，建议您将业务部署在支持高级型的...
读写访问文件类问题
当您访问文件系统中的文件时，文件系统中的文件会受到某些限制影响，导致文件操作错误、挂载点无响应或访问无响应等。您可以在本文中查找一些常见文件操作错误、文件属主、数据不同步或访问无响应的解决方案。交叉挂载兼容性问题 Linux挂载...
计费案例
除100 GB文件在不同存储类型下产生的存储费用以外，由于归档（本地冗余）类型最低存储时间为60天，此时将产生20天的归档存储不足规定时长容量费用，以及标准存储转低频访问、以及低频访问转归档存储类型产生的请求费用。则支付总费用29.91...
挂载访问FAQ
本文介绍挂载NAS文件系统的常见问题。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 通过控制台一键挂载文件系统 一键挂载功能支持哪些操作系统和文件系统协议？经典网络或者已打通VPC的ECS实例怎么通过...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
查看低频/归档存储文件
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏，选择 生命周期管理>低频/归档存储文件管理。在...
生命周期管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
存储空间概览
所以，如果存储空间内小文件数量过多，会出现计费容量大于原始容量的情况。更多信息，请参见 存储类型概述。归档存储（本地冗余）/归档存储（同城冗余）查看归档存储类型文件的存储量。冗余类型与标准存储一样。原始容量：归档存储类型文件...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
高级管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
查看集群日报与分析
Hive文件大小分布Top信息提供以下数据：Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题，大量的小文件会严重拖累计算流程，...
CPFS并行文件存储
场景 场景介绍 自动驾驶模型训练 为自动驾驶场景中车载摄像头、雷达、红外等设备采集的大量的小文件，CPFS并行文件存储 提供低时延，高IOPS的访问能力，模型训练速度可以提高3倍以上。基因组测序数据组装 基因序列组装需要海量的并发计算...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署...
临时存储费用
冷归档或者深度冷归档存储类型文件（Object）在数据解冻时会生成一份标准存储类型的文件副本用于访问，文件副本在解冻时间结束前会收取临时存储费用。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
控制台快速入门
本文以图片文件为例，为您介绍创建存储空间、上传文件、下载文件、分享文件的快速操作指导。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。步骤一：开通OSS服务 打开 OSS开通页面。在OSS开通页面...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
通用型NAS计费
按量付费：费用=每小时归档存储最大存储容量（峰值）×月单价÷30（天）÷24（小时）归档存储不足规定时长容量 针对归档存储类型的文件，如果存储时间不足60天（即1440小时）被删除或缩小文件大小，将会收取原归档文件大小剩余时间（1440-...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
推荐的挂载方式
容器网络文件系统CNFS（推荐）在容器中使用传统的NAS共享文件系统存在小文件读写延迟高，缺少容量配额的精确控制、无法恢复误删文件、缺失存储卷可观测指标等等问题。阿里云容器服务ACK的CNFS将阿里云的文件存储NAS抽象为一个K8s对象（CRD...
功能特性
数据存储 功能集 功能 功能描述 ...基本概念 客户端 加速客户端 阿里云NAS提供的加速客户端为应用提供了接近本地文件系统的小文件操作性能和计算端分布式缓存能力，可在不增加成本的情况下明显的提高容器计算速度。创建CNFS管理NAS文件系统
阿里云存储服务
适合海量小文件、时延敏感的业务。通用性能型 使用SSD作为存储介质，为应用工作负载提供高吞吐量与IOPS、低时延的存储性能。适用于高并发高吞吐，业务弹性扩展、对读时延有较高要求的文件共享存储服务。对于读写频繁、系统响应要求高的业务...
0004-00000302
单个阿里云账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
数据处理费用
按量付费：归档存储数据取回费用=解冻文件大小（GB）×归档存储文件数据取回单价 资源包：不支持 归档直读数据取回容量（RetrievalDataArchiveDirect）直读归档存储类型文件产生的费用。按直读文件的大小计费。重要 对于已解冻的归档存储...
应用场景
本文介绍文件存储NAS数据存储的主要应用场景。企业应用上云 阿里云NAS提供标准的NFS和SMB接口，云下建立在NAS上的应用程序可以轻松迁移到阿里云。阿里云NAS基于云原生架构，具有99.95%高可用性，PB级容量弹性，同时支持目录配额、ACL、回收...
创建数据取回任务
如果您需要频繁访问低频介质中存储的文件，建议您创建数据取回任务，将指定文件或目录中的数据取回至通用型NAS存储空间，避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时，NAS会根据目标文件...
存储费用
当您在OSS内存储文件时，OSS会根据您存储的文件类型、大小和时长收取一定的存储费用。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。计费项 计费项 计费规则 计费周期 付费方式 标准存储（本地冗余）...
计费项
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...
CPFS存储卷概述
适用场景 推荐在容器场景对低延迟，百万以上小文件的读写需求，包括AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析以及影视渲染等需要超高吞吐场景的使用。根据业务需求，您可以对CPFS存储卷做以下操作：业务需求 参考链接 ...
文件存储 HDFS 版和数据库MySQL双向数据迁移
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
功能特性
数据管理 功能集 功能 功能描述 参考文档 存储类型 标准存储 提供高可靠、高可用、高性能的对象存储服务，面向温热数据，适合支持频繁的数据访问。标准存储 低频访问存储 提供高持久性、较低存储成本的对象存储服务。有最小计量单位（64 KB...
什么是云存储网关CSG
如果是小文件的备份和共享读写场景，推荐使用标准型或基础型文件网关；如果对性能有一定要求或者同时有多个客户端访问数据的用户，推荐使用增强型/性能型文件网关。块网关 块网关在OSS中创建存储卷，提供Internet小型计算机系统接口（iSCSI...
通过云存储网关挂载OSS
ossfs工具的性能不适合高并发和大文件的上传下载处理，适合日常小文件的使用。关于ossfs的更多信息，请参见 ossfs。删除OSS Bucket是否会自动释放关联的云存储网关？不会。如不再需要使用云存储网关，请前往云存储网关控制台及时删除，避免...
在文件存储 HDFS 版上使用Apache Spark
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...
- 产品推荐
- 这些文档可能帮助您