Windows NTFS文件系统中大量小文件导致空间统计异常...
解决方案 如果业务中确实有大量小于4 KB文件或大量小文件存储，也可以定期压缩备份减少磁盘占用，或者当小文件有固定大小时，可以在磁盘格式化时手工指定更小的簇大小，用以避免空间浪费的情况。指定簇大小可以在格式化过程中选择合适的...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
创建文件系统
高级型：适用于大量小文件高速读写，要求时延较低，总体吞吐量不大的共享文件存储。后端使用RDMA网络，相对于标准型读写时延进一步优化，写性能更优。说明 任一可用区仅支持标准型或高级型中的一种类型，建议您将业务部署在支持高级型的...
ZIP包解压
使用场景 批量上传：当您有大量小文件需要上传时，使用程序上传耗时较多，此时可以使用ZIP包解压功能，将文件打包上传。上传完整的文件：出于资源完整性考虑，有时需要将多个文件组合成一个资源，而将多个文件分别上传可能成功率不高，此时...
读写访问文件类问题
问题现象 文件存储NAS为多客户端提供了统一名字空间的文件共享读写能力，但在多进程或多客户端并发写同一个文件的场景中（典型的例如并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上下文信息，而NFS协议本身并...
挂载访问FAQ
本文介绍挂载NAS文件系统的常见问题。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 通过控制台一键挂载文件系统 一键挂载功能支持哪些操作系统和文件系统协议？经典网络或者已打通VPC的ECS实例怎么通过...
计费案例
除100 GB文件在不同存储类型下产生的存储费用以外，由于归档（本地冗余）类型最低存储时间为60天，此时将产生20天的归档存储不足规定时长容量费用，以及标准存储转低频访问、以及低频访问转归档存储类型产生的请求费用。则支付总费用29.91...
CPFS并行文件存储
场景 场景介绍 自动驾驶模型训练 为自动驾驶场景中车载摄像头、雷达、红外等设备采集的大量的小文件，CPFS并行文件存储 提供低时延，高IOPS的访问能力，模型训练速度可以提高3倍以上。基因组测序数据组装 基因序列组装需要海量的并发计算...
查看低频/归档存储文件
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏，选择 生命周期管理>低频/归档存储文件管理。在...
生命周期管理FAQ
为了方便您选择生命周期管理策略和需配置的目录，阿里云文件存储NAS提供了NAS分层策略分析工具。您可以使用该工具设置的生命周期管理策略，对指定目录及该目录下的子目录进行扫描并按照冷数据量降序排序，将指定目录中冷数据量最高的几个子...
存储空间概览
所以，如果存储空间内小文件数量过多，会出现计费容量大于原始容量的情况。更多信息，请参见 存储类型概述。归档存储（本地冗余）/归档存储（同城冗余）查看归档存储类型文件的存储量。冗余类型与标准存储一样。原始容量：归档存储类型文件...
高级管理FAQ
当您使用安全服务（例如云安全中心的防勒索服务）扫描通用型NAS低频存储或归档存储中的文件时，安全服务会读取目标文件中的数据，文件存储NAS将收取低频存储或归档存储访问流量费用。更多信息，请参见 通用型NAS计费。创建经典网络挂载点时...
如何查看Bucket中某个目录下所有文件的存储大小？
您可以通过阿里云SDK、命令行工具ossutil、REST API等多种方式，查看Bucket中某个目录下所有文件的存储大小。阿里云SDK 您可以通过 Java SDK、PHP SDK 、Python SDK、Go SDK、C++ SDK、C SDK 查询目录下所有文件各自的存储大小。命令行工具...
计费项
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...
查看集群日报与分析
Hive文件大小分布Top信息提供以下数据：Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题，大量的小文件会严重拖累计算流程，...
CPFS存储卷概述
功能介绍 文件存储CPFS是阿里云推出的全托管、可扩展的高性能共享文件存储系统，支持POSIX、MPI-IO和NFS协议。针对GPU和CPU多机计算场景进行了深度优化，提供对数据百GB/s吞吐、亚毫秒级的访问和百万级IOPS的数据读写请求，CPFS提供了统一...
函数存储选型
不计费 存储类型介绍 文件存储NAS 文件存储 NAS（Apsara File Storage NAS）是一种分布式的网络文件存储系统，为ECS、HPC、Docker、BatchCompute等提供安全、高性能、高可靠、简单易用的文件存储服务。阿里云 函数计算 支持与文件存储NAS...
OSS的低频访问和归档存储的计费容量大于实际存储量的...
详细信息 对象存储OSS的低频访问和归档存储类型文件的最小存储单元为64KB，所有小于64KB的文件都会按照64KB计算。所以，如果您存储空间内有很多小于64 KB的低频访问或归档存储类型文件，会出现计费容量远远大于实际存储量的情况。您可以...
控制台快速入门
本文以图片文件为例，为您介绍创建存储空间、上传文件、下载文件、分享文件的快速操作指导。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。步骤一：开通OSS服务 打开 OSS开通页面。在OSS开通页面...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
功能特性
数据存储 功能集 功能 功能描述 ...基本概念 客户端 加速客户端 阿里云NAS提供的加速客户端为应用提供了接近本地文件系统的小文件操作性能和计算端分布式缓存能力，可在不增加成本的情况下明显的提高容器计算速度。创建CNFS管理NAS文件系统
文件存储NAS
阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。文件存储NAS 目前提供极速型、通用性能型...
存储费用
按量付费：低频访问不足规定时长费用=被删除文件大小（GB）×低频访问文件存储月单价÷30（天）÷24（小时）×（720-已存储时间）资源包：低频-本地冗余存储包 重要 当低频访问类型存储时长远不足720小时的情况下，由于OSS是一次性计算低频...
新功能发布记录
2019-05-06 全部 极速型NAS计费 极速型NAS 文件存储NAS推出极速型规格，针对海量小文件的工作负载进行时延优化，提升IOPS性能，同时增强数据保护能力。2019-04-05 全部 极速型NAS 表 5.2018年 功能名称 功能概述 发布时间 发布地域 相关...
阿里云存储服务
文件存储 阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。NAS提供极速型、通用性能型、...
什么是云存储网关CSG
如果是小文件的备份和共享读写场景，推荐使用标准型或基础型文件网关；如果对性能有一定要求或者同时有多个客户端访问数据的用户，推荐使用增强型/性能型文件网关。块网关 块网关在OSS中创建存储卷，提供Internet小型计算机系统接口（iSCSI...
0004-00000302
单个阿里云账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
CreateDataFlow-创建数据流动
接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算版文件系统最大允许创建 10 个数据流动。创建...
快速入门（CPFS-NFS）（推荐）
前提条件 已开通文件存储CPFS服务。首次登录 文件存储控制台 时，根据页面引导开通CPFS服务。已创建一个ECS实例，且为CPFS-NFS客户端支持的如下操作系统。更多信息，请参见 创建ECS实例。操作系统类型 操作系统版本 Alibaba Cloud Linux ...
通用型NAS计费
通用型NAS定价 具体计费价格，请参见 文件存储NAS产品定价。通用型NAS计费项 通用型NAS按照存储规格、存储大小（每小时峰值）和时长收取一定的存储费用。如果您的业务涉及生命周期管理功能时，NAS会根据您转存储的存储类型收取存储容量费用...
ECS实例挂载同一NFS文件系统出现数据不同步的情况
问题描述 当您使用两个ECS实例挂载同一个NFS文件系统，在ECS A实例上追加写文件，在ECS B实例上使用 tail-f 命令查看文件内容的变化时，在ECS A实例上写完之后，在ECS B实例上查看文件内容变化...mount-t nfs4-o noac/mnt/适用于 文件存储NAS
NAS性能测试
文件存储NAS的官网性能指标，请参见 文件存储 NAS。如果您有任何反馈或疑问，请单击下方按钮联系NAS技术支持进行咨询。NAS技术支持 注意事项 性能测试前，请注意以下事项。吞吐最大不会超过ECS内网带宽，如果内网带宽太小，则吞吐会被流量...
503错误
解决方案：单个账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的...
创建数据取回任务
如果您需要频繁访问低频介质中存储的文件，建议您创建数据取回任务，将指定文件或目录中的数据取回至通用型NAS存储空间，避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时，NAS会根据目标文件...
临时存储费用
冷归档或者深度冷归档存储类型文件（Object）在数据解冻时会生成一份标准存储类型的文件副本用于访问，文件副本在解冻时间结束前会收取临时存储费用。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。...
OSS性能与扩展性最佳实践
如果您在上传大量文件（Object）时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间（Bucket）中的某个特定分区的情况。此时如果您的请求次数过多，会导致请求速率下降。出现此类问题时，建议您...
通过云存储网关挂载OSS
通过云存储网关挂载OSS，您可以将OSS映射为一个共享的文件存储系统，实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后，您可以像使用本地文件夹和磁盘一样操作OSS资源。前提条件 已开通 云存储网关服务，并授予访问OSS、ECS及...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
- 产品推荐
- 这些文档可能帮助您