管理权限组
在 文件存储 HDFS 版 中，权限组是一个白名单机制。您可以创建权限组和规则，允许指定的IP地址或网段访问文件系统，并给不同的IP地址或网段授予不同的访问权限。背景信息 初始情况下，每个阿里云账号会自动生成一个默认权限组，默认权限组...
CreateVscMountPoint-创建VSC挂载点
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
授权信息
本文为您介绍 文件存储HDFS（DFS）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。文件存储HDFS（DFS）的RAM代码（RamCode）为 dfs，支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式，其...
元数据性能测试
配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统自带的基准...
文件存储HDFS的审计事件
文件存储HDFS已与操作审计服务集成，您可以在操作审计中查询用户操作文件存储HDFS产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...
GetMountPoint-查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"RequestId":"55C5FFD6-BF99-41BD-9C66-FFF39189*...
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
ListMountPoints-批量查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"TotalCount":1,"RequestId":"55C5FFD6-BF99-41BD-...
什么是文件存储 HDFS 版
产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...
在ECI中访问HDFS数据
具体操作，请参见 开通文件存储HDFS版服务。创建文件系统。具体操作，请参见 创建文件系统。（可选）创建权限组，并设置规则。具体操作，请参见 管理权限组。创建挂载点。具体操作，请参见 管理挂载点。安装Apache Hadoop。下载Apache ...
计费项
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...
AliyunHDFSReadOnlyAccess
AliyunHDFSReadOnlyAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSReadOnlyAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 只读访问文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-...
AliyunHDFSFullAccess
AliyunHDFSFullAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSFullAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 管理文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-03 01:09:21 ...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
入门概述
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及AI训练PAI等...
NAS存储卷概述
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS基于POSIX文件接口，天然适配原生操作系统，提供共享访问，同时保证数据一致性和锁互斥。它提供了简单的可扩展文件存储以供与ECS配合使用，多个ECS实例可以同时访问...
文件系统存储类型
本文介绍通用型NAS文件系统的存储类型。存储类型 通用型NAS文件系统提供了为实现低成本存储而设计的不同存储类型，分别为标准存储、低频存储和归档存储。标准存储：提供高可靠、高可用、高性能的文件存储服务，适用于存储频繁访问的热数据...
查看集群日报与分析
HDFS User文件数量饼图 HDFS Group存储使用量饼图 HDFS Group文件数量饼图 HDFS文件大小分布饼图 HDFS冷热数据分布饼图 HDFS一级目录存储量分布 目录文件大小分布信息 HDFS的小文件会导致NameNode压力以及分片问题，所以HDFS小文件是一个...
NAS存储卷概述（ASK）
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS基于POSIX文件接口，天然适配原生操作系统，提供共享访问，同时保证数据一致性和锁互斥。它提供了简单的可扩展文件存储以供与ECS配合使用，多个ECS实例可以同时访问...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
NFS协议
NFS概念 NFS（Network File System），即网络文件系统协议，是一种分布式文件系统协议，通过NFS协议，您可以像访问本地文件一样访问远端系统上的文件。Linux操作系统和容器建议使用NFS协议类型的文件系统。如果使用SMB协议类型的文件系统，...
使用MaxCompute访问
在文件存储HDFS上创建目录。hadoop fs-mkdir hdfs:/${实例ID}/maxcompute2lindormstore 其中${实例ID} 表示为LindormStore的实例ID。在DataWorks中编写数据同步脚本。配置MaxCompute Reader和HDFS Writer脚本，详情请参见配置 MaxCompute ...
使用NAS静态存储卷
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已...
性能优化最佳实践
alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...
DescribeVscMountPoints-获取VSC挂载点信息列表
hdfs1 Instances object[]已挂载 HDFS 文件系统的 ECS 实例信息集合。Status string 已挂载 HDFS 文件系统的 ECS 实例状态。包括：NORMAL：挂载成功。CREATING：挂载中。INVALID：挂载失败。NORMAL InstanceId string 已挂载 HDFS 文件系统...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
公测期间使用文件系统有哪些限制？
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万 单个文件系统最多包含挂载点数量：2 单个用户可以创建...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
一般性问题
数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2.挂载点是什么概念、有什么作用？挂载点是...
入门概述
什么是文件存储CPFS 产品规格 使用限制 文件存储CPFS的文件系统类型 文件存储CPFS支持两种文件系统类型，分别为CPFS和CPFS智算版。您可以根据业务负载选择其中一种或几种文件系统，为业务负载提供必要的可靠性、安全性和持续性。更多详情，...
生命周期管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
DetachVscMountPoint-解绑VSC挂载点
["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*"]VscIds array 否 待解绑 HDFS 文件系统的 VSC ID。建议添加不超过 50 个 VSC ID。string 否 VSC ID vsc-asjodjoio*Description string 否 预留字段，无实际意义。无 FileSystemId string 是 ...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
查看低频/归档存储文件
在下拉框中选择 低频存储文件 或 归档存储文件，可查看目标文件系统已转储至低频存储或归档存储中的 文件名、文件大小、存储类型 及该文件最近一次被访问的时间等信息。您还可以单击 生命周期策略 页签，查看该文件系统配置的生命周期策略...
挂载问题
1.挂载数据库文件存储（DBFS）的约束？数据库文件存储（DBFS）默认会在“/mnt/dbfs”目录下创建挂载点（例如，“/mnt/dbfs/xxxxxx”）。数据库文件存储（DBFS）要求挂载点为空，即“/mnt/dbfs/xxxxxx”目录为空，不能在挂载点下存在文件...
文件存储NAS系统权限策略参考
本文描述文件存储NAS支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
常见问题
阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及...
- 产品推荐
- 这些文档可能帮助您