概览

借助该SDK,Apache Hadoop的计算分析应用(如MapReduce、Hive、Spark等)可以使用 文件存储 HDFS 作为defaultFS,从而获得 文件存储 HDFS 带来的超越原始HDFS的功能和性能优势。更多信息,请参见 安装文件系统SDK、SDK示例。

计费常见问题

如果您确实不再使用 文件存储 HDFS 服务,可以删除数据,并删除挂载点,再删除文件系统,即可在下一个账期不产生扣费。删除存储数据后,为什么控制台显示的存储容量不变,账单没有减少?账单为上一小时的账单,控制台上显示的文件系统...

欠费说明

本文介绍 文件存储 HDFS 欠费后服务状态及查看欠费金额。欠费停服说明 状态 资源状态 如何操作 欠费预警 系统根据服务最近7小时的账单应付金额的平均值来判断您的账户余额是否足以支付下三个账期的费用。如果不足以支付,系统将以短信或...

开通文件存储 HDFS 服务

本文介绍如何开通 文件存储 HDFS 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 申请公测页面。在申请公测页面,填写必要信息后单击 ...

文件存储 HDFS (Apsara File Storage for HDFS)...

OpenAPI事件的含义如下:类别 事件名称 事件含义 地域 DescribeRegions 查询可以使用阿里云 文件存储 HDFS (Apsara File Storage for HDFS)的地域。文件系统 CreateFileSystem 创建文件系统实例。DeleteFileSystem 删除文件系统实例。...

文件存储 HDFS 支持Python SDK吗?

文件存储 HDFS 提供两种SDK,分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK,文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言,请参见 OpenAPI。

什么是文件存储 HDFS

产品概述 文件存储 HDFS 允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System)中一样管理和访问数据。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...

文件存储 HDFS 使用TensorFlow

本文介绍如何在 文件存储 HDFS 使用TensorFlow。前提条件 已开通 文件存储 HDFS 服务并。具体操作,请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统具体操作,请参见 快速入门。已为Hadoop集群...

CDH6数据迁移

背景信息 CDH(Cloudera's Distribution,including Apache Hadoop)是众多Hadoop发行版本中的一种,您可以使用 文件存储 HDFS 替换CDH6原有的本地HDFS服务,通过CDH6和 文件存储 HDFS 实现大数据计算在云上的存储与计算分离,应对...

使用限制

本文主要介绍 文件存储 HDFS 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...

文件存储HDFS版

可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...

迁移开源HDFS的数据到文件存储 HDFS

文件存储 HDFS 可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。...

目录和文件访问权限

文件存储 HDFS 为目录和文件提供了一种访问权限,该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 文件系统中的每一个文件或者目录会关联到三个权限...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

功能特性

无缝集成 文件存储 HDFS 允许您就像在Hadoop分布式文件系统(HDFS)中一样管理和访问数据。文件存储 HDFS SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和阿里云Flink。文件存储 HDFS 支持的原生文件系统语义被开发人员...

应用场景

文件存储 HDFS 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上,这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算,也可以直接将计算结果输出到 文件存储 HDFS 做永久保存

卸载并释放CDH6 HDFS服务使用的云盘

已配置CDH使用 文件存储 HDFS 文件系统具体操作,请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH ...

配置E-MapReduce服务使用文件存储 HDFS

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

删除文件系统

可以文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作,请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏,选择地域。在左侧导航栏,选择 文件系统。在 文件...

安装文件系统SDK

本文档主要介绍 文件存储 HDFS 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 文件系统并添加挂载点。具体操作,请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK,且JDK版本不低于1.8。背景信息 本文以hadoop...

快速入门

文件存储 HDFS 兼容了标准的HadoopFS协议接口,使您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储,使用 文件存储 HDFS 服务可以大量节约...

SDK示例

本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...

挂载文件存储 HDFS 版文件系统

确认不再使用 文件存储 HDFS 文件系统后,您需要参考 挂载文件系统 中的内容,删除所有已部署的 文件存储 HDFS Java SDK和所有core-site.xml文件中的 文件存储 HDFS 相关配置,完成卸载文件系统。如果您想释放 文件存储 HDFS ...

创建文件系统实例后,为什么无法访问文件存储 HDFS ...

本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 的排查方法。您可以请根据以下几种情况进行排查:确认访问 文件存储 HDFS 服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...

开发测试

基于K8s、NAS、GitLab、Jenkins的持续集成交付容器环境最佳实践 Serverless ACK弹性低成本CI/CD系统 使用文件存储NAS构建Jenkins持续集成环境 使用极速型NAS构建高可用的GitLab 阿里云文件存储NAS开发测试环境最佳实践

基本概念

本文介绍了 文件存储 HDFS 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间,可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...

公测期间使用文件系统有哪些限制?

文件存储 HDFS 在公测期间会对单个文件系统使用进行一定的限制,包括:单个用户可以创建的文件系统数量:1 单个文件系统最大容量:10 TB 单个文件系统目录+文件数最大数量:10万 单个文件系统最多包含挂载点数量:2 单个用户可以创建...

Web服务和内容管理

使用Nginx代理服务器代理阿里云NAS 通过Windows IIS服务访问阿里云NAS 容器服务ACK+文件存储NAS快速搭建NGINX网站 WordPress网站如何使用文件存储NAS 基于函数计算与WordPress构建serverless网站 阿里云Serverless应用引擎(SAE)支持一键...

如何选用NAS、OSS和EBS?

NAS技术支持 部署架构 使用文件存储NAS、对象存储OSS和块存储EBS部署应用程序架构如下图所示。相关文档 文件存储NAS提供了两种存储类型,分别为通用型NAS和极速型NAS。关于两种存储类型的详细信息,请参见 产品规格。关于如何根据业务负载...

卸载并释放E-MapReduce HDFS使用的云盘

已配置E-MapReduce使用 文件存储 HDFS 具体操作,请参见 配置E-MapReduce服务使用文件存储 HDFS 版。在卸载磁盘前,请停止E-MapReduce集群中的所有服务,等到卸载磁盘操作完成后再启动。背景信息 当E-MapReduce已经成功运行在阿里云 ...

容器与云原生

基于K8s、NAS、GitLab、Jenkins的持续集成交付容器环境最佳实践 Serverless ACK弹性低成本CI/CD系统 使用文件存储NAS构建Jenkins持续集成环境 超级计算集群结合ACK快速实现NLP训练 GPU AI模型训练 基于弹性计算的AI推理 函数计算 开发函数...

创建文件系统

文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前,您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作,请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...

使用Fuse-DFS挂载文件存储 HDFS

本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本...

ModifyFileSystem-修改文件系统属性

接口说明 在修改文件系统前,请先了解文件存储 HDFS 的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...

计费项

本文为您介绍 文件存储 HDFS 服务的计费说明。产品定价 关于 文件存储 HDFS 的计费定价,请参见 文件存储 HDFS 产品定价。计费周期 文件存储 HDFS 每小时统计前一小时的实际用量并进行结算,从账户余额中扣除实际消费金额。例如...

授权信息

操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源(Resource)下表是 文件存储HDFS(DFS)定义的资源,这些资源可以在RAM权限策略语句的 Resource 元素中使用,用来授予对该资源执行具体操作的权限。其中,资源ARN是资源在...

文件存储 HDFS 和对象存储OSS双向数据迁移

文件存储 HDFS 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据,并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务,提供标准型、归档型等多种存储类型。您可以文件存储 HDFS ...

文件存储 HDFS 使用Apache HBase

本文主要介绍在 文件存储 HDFS 使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。已部署...

文件存储HDFS的审计事件

文件存储HDFS已与操作审计服务集成,您可以在操作审计中查询用户操作文件存储HDFS产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户...

CreateFileSystem-创建文件系统

接口说明 在创建文件系统前,请先了解文件存储 HDFS 的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储HDFS版 文件存储 CPFS 阿里邮箱 云存储网关 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用