挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
创建文件系统实例后，为什么无法访问文件存储 HDFS 版...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
安装文件系统SDK
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息 本文以hadoop...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
性能优化最佳实践
alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
CDH6数据迁移
步骤一：为 文件存储 HDFS 版 添加用户和组映射 迁移数据前，您需要在 文件存储 HDFS 版 文件系统实例上创建原CDH集群HDFS服务中已有的用户和组映射关系。关于 文件存储 HDFS 版 实例访问控制的详细信息，请参见 访问控制。获取原CDH集群...
修改文件系统
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...
删除文件系统
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作，请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在 文件...
卸载并释放CDH6 HDFS服务使用的云盘
已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作，请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH ...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
在文件存储 HDFS 版上使用Apache HBase
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署Apache HBase分布式集群，且版本必须与Hadoop版本兼容。具体...
公测期间使用文件系统有哪些限制？
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万 单个文件系统最多包含挂载点数量：2 单个用户可以创建...
ModifyFileSystem-修改文件系统属性
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
在文件存储 HDFS 版上使用Presto
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop...
CreateFileSystem-创建文件系统
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
常见问题排查
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
在文件存储 HDFS 版上使用Apache Spark
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...
功能特性
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
什么是文件存储 HDFS 版
产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...
API概览
本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
在文件存储 HDFS 版上使用Apache Flink
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...
DeleteUserGroupsMapping-删除用户和组的映射关系
删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息，请参见文件...
ListUserGroupsMappings-查看用户和组的映射关系
查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...
使用云企业网跨VPC访问文件存储 HDFS 版
您也可以使用 文件存储 HDFS 版 的多挂载功能实现单文件系统实例同地域的多VPC访问。属性 VPC1 VPC2 VPC3 网络实例的网段规划 VPC网段：192.168.0.0/16 交换机网段：192.168.0.0/24 VPC网段：10.0.0.0/16 交换机网段：10.0.0.0/24 VPC网段...
CreateUserGroupsMapping-创建用户和组的映射关系
创建文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 ...
开通文件存储 HDFS 版服务
本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...
用户和组映射
如果您是初次使用 文件存储 HDFS 版 文件系统，可使用该API创建组并关联用户。DeleteUserGroupsMapping：删除用户和组的映射关系。ListUserGroupsMappings：查看用户和组的映射关系。使用限制 用户名和组名命名规则：必须以字母或者下划线...
性能监控
前提条件 已创建 文件存储 HDFS 版 文件系统。具体操作，请参见 创建文件系统。已开通云监控服务。您可以登录 云监控产品详情页，根据页面提示开通服务。性能监控指标说明 指标 指标名称 单位 描述 read_iops 文件系统读请求频率 次/秒 该...
使用RAM授权访问文件存储 HDFS 版
授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统实例ID，...
应用场景
而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力，无需将数据迁移到计算资源本地，因此在该场景下推荐使用 文件存储 HDFS 版 存储数据。将数据存入 文件存储 HDFS 版，ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...
GetFileSystem-获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
使用JindoFuse挂载访问
JindoFuse是一个开源的分布式文件系统访问工具，同时兼容POSIX，使得AI应用程序可以直接使用OSS-HDFS服务作为数据存储和处理的解决方案。前提条件 已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。环境准备 ...
ListFileSystems-批量获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
查询文件系统详情
登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在 文件系统 页面，单击需要查看存储信息的文件系统名称，并选择 文件系统概览 页签。在 基础数据 区域，查看该文件系统的资源使用详情。查询文件系统基本信息 您可以在 文件系统概览 ...
- 产品推荐
- 这些文档可能帮助您