SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
迁移开源HDFS的数据到文件存储 HDFS 版
基于阿里云ECS搭建Hadoop集群（下称"迁移集群"），用于访问 文件存储 HDFS 版 实例和迁移数据，并满足以下条件：迁移集群与 文件存储 HDFS 版 实例在相同区域、相同可用区。迁移集群与 文件存储 HDFS 版 实例的挂载点使用相同阿里云VPC网络...
在文件存储 HDFS 版上使用Apache Spark
步骤四：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
迁移说明
非阿里云服务存储数据迁移至云上NAS 如果您想将线下数据、IDC数据、本地数据等非阿里云服务存储数据迁移至阿里云文件存储NAS，可参照以下方式进行迁移：配置数据传输中转节点 迁移数据至阿里云NAS OSS和NAS之间的数据迁移 对于NAS与OSS之间...
使用云企业网跨VPC访问文件存储 HDFS 版
以下内容为您展示如何测试ECS与文件存储HDFS版文件系统之间的连通性。登录VPC2的ECS实例。具体操作，请参见 ECS远程连接操作指南。验证ECS和 文件存储 HDFS 版 之间的连通性。ping f-xxxxxx....
二级索引计量计费
计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时的计量规则如下：只有产生了有效的索引行才会产生写CU。只要可能产生旧索引行的删除、旧索引行的更新、...
JINDODATA指标
slicelet_read_bytes_total_window jindodata_metrics_jindofsx_ns_slicelet_read_bytes_total_window 一段时间内读取小文件存储的数据量。单位：Byte。backend_read_bytes_total jindodata_metrics_jindofsx_ns_backend_read_bytes_total ...
基本概念
NAS专用术语 术语 定义 注意事项 文件系统 存储文件的地方，通过计算节点挂载访问。以传统的目录树形式管理文件的数据和元数据。支持数百个计算节点同时访问，进行数据共享和高并发读写。阿里云文件存储NAS适合通过应用程序使用，而不适合...
功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 性能型 通用型NAS的...
什么是文件存储CPFS
文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
数据处理费用
按量付费：归档存储数据取回费用=解冻文件大小（GB）×归档存储文件数据取回单价 资源包：不支持 归档直读数据取回容量（RetrievalDataArchiveDirect）直读归档存储类型文件产生的费用。按直读文件的大小计费。重要 对于已解冻的归档存储...
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
常见问题
产品原理FAQ 文件网关中的文件与OSS间的映射关系如何？文件网关缓存的淘汰机制是什么？文件网关的缓存有什么作用？云存储网关文件上传原理解析是什么？极速同步如何保证反向同步数据一致性？云上部署FAQ 创建网关时找不到可用交换机如何...
使用Python读文件
已准备Python支持读取的文件，例如TXT、CSV、XLS、XLSX或PDF等格式文件。步骤一：上传文件 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，单击 进入Dataphin>>。进入 资源管理 页面。在Dataphin首页，单击 研发。在数据 ...
使用Python读文件
已准备Python支持读取的文件，例如TXT、CSV、XLS、XLSX或PDF等格式文件。步骤一：上传文件 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，单击 进入Dataphin>>。进入 资源管理 页面。在Dataphin首页，单击 研发。在数据 ...
功能概览
阿里云NAS收取公网读取文件费用和存储文件费用，阿里云OSS收取存储文件费用。计费详情请参见 阿里云NAS计费概述 和 阿里云OSS计费概述。安装客户端 同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储前，您需要在数据源...
EFC加速NAS或CPFS文件访问
Dataset：描述NAS 或CPFS 文件存储的相关信息，例如NAS 或CPFS 文件存储URL，需挂载的子目录等。EFCRuntime：启动一个EFC缓存系统来提供缓存服务。在EFCRuntime中描述EFC缓存系统Worker组件副本数，以及每个Worker组件最大的缓存容量等。...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
性能监控FAQ
优化该参数将提升频繁读取文件属性场景的文件系统性能。maxFileToCache 最大缓存的inode数量。优化该参数将提升反复访问海量小文件场景的文件系统性能。prefetchPct、prefetch及write-behind buffer 占用page pool的最大比例。优化该参数将...
为什么云存储网关与OSS上的文件不一致
云存储网关上的文件与OSS对象一一对应，提供与OSS对象1:1映射的文件共享服务，您可以通过网关以标准的POSIX接口访问OSS上的资源。云存储网关与OSS是相互独立的云产品，为保证您通过网关看到的文件视图与OSS一致，需要有特殊的元数据同步...
入门概述
在云桌面内挂载CPFS文件系统 通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 与对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 ...
元数据性能测试
注意事项 在进行open_read、rename、delete测试之前要确保 文件存储 HDFS 版 上已存在待测数据。如果不存在待测数据，请先使用create_open创建待测数据。测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 ...
集成对象存储OSS
在设置Prefix的基础上，将Delimiter设置为正斜线（/）时，返回值就只列举该文件夹下的文件，文件夹下的子文件夹名返回在CommonPrefixes中，子文件夹下递归的所有文件和文件夹不显示。例如，一个Bucket中有三个Object，分别为fun/test.jpg、...
生命周期管理FAQ
写低频存储文件的延时与写通用性能型NAS、通用高级型NAS或通用容量型NAS文件基本一致。文件转储到低频存储后，怎么收费？当文件转储到低频存储中，会采用低频存储的计费方式。更多信息，请参见 通用型NAS计费。转储至低频存储的冷数据被...
常见问题
若发现上传的文件与目标Bucket内已有文件同名，且该文件的最后修改时间早于或等于Bucket内已有文件，上传时会跳过该文件；若该文件的最后修改时间晚于Bucket内已有文件，则重新上传该文件。所以使用-u 参数上传文件时出现skip提示是正常...
快速入门（CPFS-NFS）（推荐）
使用流程 创建文件系统（可选）创建Fileset 创建协议服务和导出目录 挂载CPFS文件系统 验证挂载 步骤一：创建文件系统 登录 文件存储控制台。在 概览 页面，单击 创建CPFS。在 CPFS（按量付费）页面，按如下说明配置必要参数。其他参数请您...
性能说明FAQ
本文介绍NAS SMB/NFS协议文件系统性能相关的常见问题及解决方案。文件系统的读写吞吐阈值与什么相关？通用型NAS 单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值...
Linux系统挂载SMB协议文件系统
由于Linux系统对SMB协议的兼容程度较低，建议仅在需要跨操作系统共享数据的情况下使用Linux系统挂载SMB协议文件系统。本文主要介绍如何将SMB协议文件系统挂载至云服务器ECS（Linux）上并执行读写操作。前提条件 在创建SMB协议文件系统的...
监控与日志
监控与日志可有效保障您文件存储NAS资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和业务运行...
挂载访问FAQ
问题现象：在文件存储CPFS控制台为文件系统创建POSIX挂载点时，出现如图报错。原因分析：在创建POSIX挂载点时，文件存储CPFS会在您的阿里云账号下自动创建3个按量付费的ECS实例（ecs.g*.large），该实例用来管理CPFS-POSIX客户端集群。在...
OSS文件如何避免数据误删或误覆盖
概述 使用阿里云对象存储OSS时，有些操作可能会导致文件被删除或者覆盖，本文主要介绍如何避免数据误删或误覆盖。详细信息 OSS是分布式存储产品，通过数据自动多重冗余备份保证数据的持久性。因此正常情况下，OSS本身是不会导致数据出现...
使用限制
同名文件被覆盖 默认情况下，如果上传的文件与已有文件同名，则覆盖已有文件。警告 文件被覆盖后将丢失原有文件，请谨慎操作。为防止文件被意外覆盖，您可以通过为文件所在的Bucket开启版本控制，或者在上传请求的Header中携带参数 x-oss-...
快速使用ossbrowser
重要 如果上传的文件与Bucket中已有的文件重名，则覆盖已有文件。上传文件夹 单击页面上方 图标，上传文件夹。下载文件 选中文件，然后单击操作列的 下载 进行下载。说明 您也可以选中多个文件，然后单击页面上方的 下载 进行批量下载。...
公共错误码
文件系统类型不支持 诊断 404 InvalidVpcId.ConflictVpcCidr Vpc cidr conflict with file system 指定VPC与文件系统VPC网段重叠。诊断 403 InvalidVpcId.CrossVpcNotSupport.Cross VPC not support.不支持协议服务和文件系统跨VPC。诊断 ...
公共错误码
文件系统类型不支持 诊断 404 InvalidVpcId.ConflictVpcCidr Vpc cidr conflict with file system 指定VPC与文件系统VPC网段重叠。诊断 403 InvalidVpcId.CrossVpcNotSupport.Cross VPC not support.不支持协议服务和文件系统跨VPC。诊断 ...
图形化管理工具ossbrowser快速入门
重要 如果上传的文件与Bucket中已有的文件重名，则覆盖已有文件。上传文件夹 单击页面上方 图标，上传文件夹。下载文件 选中文件，然后单击操作列的 下载 进行下载。说明 您也可以选中多个文件，然后单击页面上方的 下载 进行批量下载。...
OSS和NAS之间的数据迁移
本文介绍如何通过ossutil工具或在线迁移服务实现阿里云对象存储OSS和文件存储NAS之间的数据双向迁移。费用说明 使用ossutil工具迁移 ossutil工具本身不收取费用，但是由于迁移数据时涉及到API请求，所以会产生一定的API请求费用。OSS数据...
Linux系统挂载NFS协议文件系统
创建NAS NFS协议文件系统后，您需要使用云服务器来挂载该文件系统，以实现多个云服务器共享访问文件系统的目的。本文介绍如何通过阿里云Linux ECS实例挂载NAS NFS协议文件系统。前提条件 在创建文件系统的地域，已有可用的云服务器ECS...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
在NFS（Network File System）文件系统中通过read、copy_file_range等系统调用读取文件时，与同场景下的Alibaba Cloud Linux 2相比，可能会存在明显的性能退化情况。本文介绍在Alibaba Cloud Linux 3系统的ECS实例中，在NFS文件系统下读取...
产品规格
文件存储CPFS支持三种存储规格，分别为100 MB/s/TiB基线、200 MB/s/TiB基线和 400 MB/s/TiB基线（CPFS智算版）。本文列举了在相同文件系统容量下使用不同客户端访问文件系统时，100 MB/s/TiB基线、200 MB/s/TiB基线、400 MB/s/TiB基线的...
- 产品推荐
- 这些文档可能帮助您