安装文件系统SDK
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息 本文以hadoop...
计费常见问题
本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后，就开始计费吗？文件存储 HDFS 版服务如何停止计费？删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
E-MapReduce数据迁移
如果涉及将云下集群的数据迁移到阿里云 文件存储 HDFS 版 文件系统，请参见 迁移开源HDFS的数据到文件存储HDFS版。如果E-MapReduce HDFS文件系统上的数据量较小，可以使用 hadoop fs-cp 命令进行数据迁移。为了避免因为权限问题导致数据...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
创建文件系统实例后，为什么无法访问文件存储 HDFS 版...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
功能特性
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
账单查询
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏，单击 账单管理>账单详情。在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
常见问题排查
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...
在文件存储 HDFS 版上使用Apache Spark
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...
文件存储 HDFS 版（Apsara File Storage for HDFS）...
ActionTrail中记录的 文件存储 HDFS 版（Apsara File Storage for HDFS）操作日志 文件存储 HDFS 版（Apsara File Storage for HDFS）的操作审计日志主要包含的是API事件，其中OpenAPI事件在ActionTrail中记录的eventType取值为 ApiCall。...
在文件存储 HDFS 版上使用Apache Flink
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已 下载Apache Hadoop压缩包。建议您选用的Hadoop版本不低于2.7.2，...
ListUserGroupsMappings-查看用户和组的映射关系
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。单个文件系统存在用户和组数量的限制...
ModifyFileSystem-修改文件系统属性
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
CreateUserGroupsMapping-创建用户和组的映射关系
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。单个文件系统存在用户和组数量的限制...
概览
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个...
CreateFileSystem-创建文件系统
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
GetFileSystem-获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
在文件存储 HDFS 版上使用Presto
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
基本概念
本文介绍了 文件存储 HDFS 版 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间，可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
开通文件存储 HDFS 版服务
本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...
性能优化最佳实践
alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...
使用RAM授权访问文件存储 HDFS 版
示例一：授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统...
什么是文件存储 HDFS 版
产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...
API概览
本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
CreateVscMountPoint-创建VSC挂载点
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
文件存储NAS
阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统。兼容POSIX文件接口，可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可无缝迁移业务系统上云。
在文件存储 HDFS 版上使用Apache HBase
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署Apache HBase分布式集群，且版本必须与Hadoop版本兼容。具体...
卸载并释放CDH6 HDFS服务使用的云盘
已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作，请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH ...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...
文件存储HDFS版
文件存储 HDFS 版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以...
- 产品推荐
- 这些文档可能帮助您