什么是文件存储 HDFS

产品概述 文件存储 HDFS 允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System)中一样管理和访问数据。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...

功能特性

无缝集成 文件存储 HDFS 允许您就像在Hadoop分布式文件系统(HDFS)中一样管理和访问数据。文件存储 HDFS SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里EMR和阿里Flink。文件存储 HDFS 支持的原生文件系统语义被开发人员...

文件存储HDFS版

您可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...

迁移开源HDFS的数据到文件存储 HDFS

文件存储 HDFS 可以帮助您实现将开源HDFS的数据迁移到上,并允许您在上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。...

快速入门

本文将帮助您快速部署和使用阿里 文件存储 HDFS 。您将完成创建 文件存储 HDFS 文件系统并完成挂载操作。部署成功后,您就可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中一样管理和访问数据。前提条件 已开通 ...

计费常见问题

本地数据迁移至 文件存储 HDFS 本地数据迁移至 文件存储 HDFS 时,需要配置ECS作为中转节点从公网访问阿里 文件存储 HDFS 。弹性公网IP对入方向流量不收费,仅对出方向流量收费。即从公网上传数据到 文件存储 HDFS 不会收取...

开通文件存储 HDFS 服务

本文介绍如何开通 文件存储 HDFS 服务。前提条件 已注册阿里账号并完成实名认证。详情请参见 注册阿里账号 和 个人实名认证。操作步骤 登录 阿里官网。打开 文件存储 HDFS 申请公测页面。在申请公测页面,填写必要信息后单击 ...

文件存储 HDFS 和对象存储OSS双向数据迁移

文件存储 HDFS 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据,并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的存储服务,提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS ...

应用场景

文件存储 HDFS 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中,应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 能够提供高吞吐量和低延迟的访问能力...

文件存储 HDFS 上使用TensorFlow

本文介绍如何在 文件存储 HDFS 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 服务并。具体操作,请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作,请参见 快速入门。已为Hadoop集群...

欠费说明

本文介绍 文件存储 HDFS 欠费后服务状态及查看欠费金额。欠费停服说明 状态 资源状态 如何操作 欠费预警 系统根据服务最近7小时的账单应付金额的平均值来判断您的账户余额是否足以支付下三个账期的费用。如果不足以支付,系统将以短信或...

挂载文件存储 HDFS 版文件系统

确认不再使用 文件存储 HDFS 文件系统后,您需要参考 挂载文件系统 中的内容,删除所有已部署的 文件存储 HDFS Java SDK和所有core-site.xml文件中的 文件存储 HDFS 相关配置,完成卸载文件系统。如果您想释放 文件存储 HDFS ...

卸载并释放CDH6 HDFS服务使用的云盘

已配置CDH使用 文件存储 HDFS 文件系统。具体操作,请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里 文件存储 HDFS 上时,ECS挂载的盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH ...

概览

本文介绍阿里 文件存储 HDFS 提供的文件系统SDK和管控系统SDK。目前,公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口,提供一种Hadoop兼容的文件系统,对外输出为一个...

使用Fuse-DFS挂载文件存储 HDFS

本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本...

卸载并释放E-MapReduce HDFS使用的云盘

重要 从数据安全性考虑,数据迁移后建议进行数据完整性校验并让E-MapReduce系统文件存储 HDFS 上正常运行一段时间后再卸载和释放盘。盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘,通常是/mnt/disk1上...

概述

文件存储HDFS版 文件存储HDFS版(Apsara File Storage for HDFS)是一款面向阿里ECS实例及容器服务等计算资源的文件存储服务,满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...

SDK示例

本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...

创建文件系统

文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前,您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作,请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...

删除文件系统

您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作,请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏,选择地域。在左侧导航栏,选择 文件系统。在 文件...

计费项

本文为您介绍 文件存储 HDFS 服务的计费说明。产品定价 关于 文件存储 HDFS 的计费定价,请参见 文件存储 HDFS 产品定价。计费周期 文件存储 HDFS 每小时统计前一小时的实际用量并进行结算,从账户余额中扣除实际消费金额。例如...

文件存储 HDFS 支持Python SDK吗?

文件存储 HDFS 提供两种SDK,分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK,文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言,请参见 OpenAPI。

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 文件系统。背景信息 阿里E-MapReduce是构建在阿里云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在上使用开源技术建设数据仓库、离线...

常见问题排查

本文介绍使用 文件存储 HDFS 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败,提示 java.lang.ClassNotFoundException:Class ...

文件存储 HDFS 上使用Apache Spark

本文主要介绍如何在挂载 文件存储 HDFS 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK...

文件存储 HDFS (Apsara File Storage for HDFS)...

阿里 文件存储 HDFS (Apsara File Storage for HDFS)已与阿里ActionTrail集成,您可以在ActionTrail中查看和检索用户行为日志,同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中,满足实时审计、问题回溯...

升级或续费说明

如果云虚拟主机配置无法满足当前网站业务需求,您可以通过升级云虚拟主机来扩大数据存储空间和提高网站访问速度;同时为了保证网站业务的正常运行,您也可以通过为快要到期的云虚拟主机及时续费,来避免因主机被释放而影响您的业务。升级...

账单查询

您可以通过阿里管理控制台查看 文件存储 HDFS 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏,单击 账单管理>账单详情。在 明细账单 页签中,设置查询 账期,并在列表中筛选产品为 文件存储 HDFS 。您还可以通过 ...

更改主机操作系统

使用限制 由于硬件、机房位置等限定因素,部分云虚拟主机不支持更改主机的操作系统,该类型的云虚拟主机具体包括以下几种:产品类别 说明 L享系列云虚拟主机 该系列云虚拟主机仅支持Linux操作系统。共享经济增强版云虚拟主机云虚拟主机...

基本概念

本文介绍了 文件存储 HDFS 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间,可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...

文件存储 HDFS 上使用Apache Flink

本文介绍如何在挂载 文件存储 HDFS 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不...

目录和文件访问权限

文件存储 HDFS 为目录和文件提供了一种访问权限,该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 文件系统中的每一个文件或者目录会关联到三个权限...

云虚拟主机域名解析类型

根据云虚拟主机产品类型不同,您需要设置的域名解析类型也不同,本文介绍云虚拟主机的域名解析类型。解析类型 云虚拟主机的域名解析分为以下类型:类型 解释 适用范围 A记录解析 将域名指向IP地址。针对独享云虚拟主机和部分不能进行CNAME...

查看共享云虚拟主机流量

共享云虚拟主机是由多个用户共享一台物理服务器资源,每月的标准流量消耗完之后,将导致网站无法访问,请您及时了解和查看共享云虚拟主机的流量使用情况。本文介绍查看共享云虚拟主机流量的方法。背景信息 共享云虚拟主机标准流量指的是每...

新手指引

您可以通过产品概念、产品优势、产品类型、应用场景、使用限制等方面详细地了解云虚拟主机,更多信息,请参见如下内容:什么是云虚拟主机 云虚拟主机的产品优势 云虚拟主机的产品类型 云虚拟主机的应用场景 云虚拟主机的使用限制 云虚拟...

计费概述

本文主要介绍云虚拟主机的计费项、产品定价、退款、升级或续费、到期或欠费说明等信息,方便您快速了解云虚拟主机的相关计费内容。计费项 云虚拟主机的费用包含主机本身费用和额外需购买的增值服务费用(例如带宽、流量、网页空间和网站...

到期或欠费说明

如果您的云虚拟主机已到期或者您的账号已欠费,您可以通过本文了解到期或欠费后对网站数据的影响以及后续应对措施,避免云虚拟主机无法正常运行而导致网站数据丢失。重要 云虚拟主机到期未续费,或者账号已欠费未充值时,对域名及备案都...

更改主机机房

本文以Linux操作系统独享云虚拟主机标准为例介绍如何更改主机机房。注意事项 更改云虚拟主机机房前,请您了解以下事项:事项 说明 支持的主机类型 仅中国内地机房的云虚拟主机支持更改主机机房,即中国内地的独享云虚拟主机和共享云虚拟...

网站搬家(外部网站迁移到阿里云主机

基于业务性能的稳定性、技术与安全要求以及成本因素等方面的考虑,如果您选择了阿里云云虚拟主机,则可以通过云虚拟主机提供的网站搬家功能将原有的其他品牌云虚拟主机上的网站快捷迁移到万网主机上。本文以Linux操作系统独享虚拟主机高级...

增加独享云虚拟主机带宽

仅固定带宽规格的独享型云虚拟主机支持增加带宽,额外增加带宽的云虚拟主机可满足更多的在线用户访问网站,提升网站访问速度和流畅度,并有效提高对DDoS等大流量类型网络攻击的防御力度。注意事项 仅固定带宽规格的独享云虚拟主机支持增加...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云虚拟主机 文件存储HDFS版 云数据库 Redis 版 轻量应用服务器 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用