什么是文件存储 HDFS 版
产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等...
ModifyFileSystem-修改文件系统属性
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
查询文件系统详情
登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在 文件系统 页面，单击需要查看存储信息的文件系统名称，并选择 文件系统概览 页签。在 基础数据 区域，查看该文件系统的资源使用详情。查询文件系统基本信息 您可以在 文件系统概览 ...
用户和组映射
如果您是初次使用 文件存储 HDFS 版 文件系统，可使用该API创建组并关联用户。DeleteUserGroupsMapping：删除用户和组的映射关系。ListUserGroupsMappings：查看用户和组的映射关系。使用限制 用户名和组名命名规则：必须以字母或者下划线...
管理挂载点
本文介绍如何在 文件存储 HDFS 版 控制台上管理挂载点，包括添加挂载点、查看挂载点信息、删除挂载点、修改挂载点权限组、禁用和激活挂载点等。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。挂载点说明 一个阿里云账号最多...
CreateFileSystem-创建文件系统
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
使用RAM授权访问文件存储 HDFS 版
授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统实例ID，...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
管理权限组
在 文件存储 HDFS 版 中，权限组是一个白名单机制。您可以创建权限组和规则，允许指定的IP地址或网段访问文件系统，并给不同的IP地址或网段授予不同的访问权限。背景信息 初始情况下，每个阿里云账号会自动生成一个默认权限组，默认权限组...
CreateVscMountPoint-创建VSC挂载点
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
性能监控
前提条件 已创建 文件存储 HDFS 版 文件系统。具体操作，请参见 创建文件系统。已开通云监控服务。您可以登录 云监控产品详情页，根据页面提示开通服务。性能监控指标说明 指标 指标名称 单位 描述 read_iops 文件系统读请求频率 次/秒 该...
使用HDFS进行数据冷热分离
本文为您介绍在阿里云E-MapReduce的ClickHouse集群上，如何通过HDFS进行数据的冷热分离。通过本文操作，您既可以在保证集群读写性能的基础...server-users profile.${your-profile-name}.hdfs_replication：设置数据在HDFS上存储的副本个数。
使用E-Mapreduce访问
说明 关闭HDFS服务前，请确认原来E-MapReduce HDFS上存储的数据都已经迁移到文件引擎。迁移方法请参见 从自建HDFS迁移数据。选择 集群服务>HDFS。在页面右侧的操作栏，单击 停止All Components，关闭服务。在 执行集群操作 对话框中，输入...
使用MaxCompute访问
在文件存储HDFS上创建目录。hadoop fs-mkdir hdfs:/${实例ID}/maxcompute2lindormstore 其中${实例ID} 表示为LindormStore的实例ID。在DataWorks中编写数据同步脚本。配置MaxCompute Reader和HDFS Writer脚本，详情请参见配置 MaxCompute ...
计费常见问题
本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后，就开始计费吗？文件存储 HDFS 版服务如何停止计费？删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费...
在ECI中访问HDFS数据
具体操作，请参见 开通文件存储HDFS版服务。创建文件系统。具体操作，请参见 创建文件系统。（可选）创建权限组，并设置规则。具体操作，请参见 管理权限组。创建挂载点。具体操作，请参见 管理挂载点。安装Apache Hadoop。下载Apache ...
安装文件系统SDK
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息 本文以hadoop...
应用场景
而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力，无需将数据迁移到计算资源本地，因此在该场景下推荐使用 文件存储 HDFS 版 存储数据。将数据存入 文件存储 HDFS 版，ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...
使用OSS-HDFS作为HBase的底层存储
E-MapReduce控制台的DataServing类型的集群支持存储数据在OSS-HDFS上（WAL数据存储在HDFS上）。本文为您介绍如何使用OSS-HDFS作为HBase的底层存储...创建成功后，即通过OSS-HDFS恢复了一个新HBase集群，您可以继续使用OSS-HDFS上存储的数据。
文件存储HDFS的审计事件
文件存储HDFS已与操作审计服务集成，您可以在操作审计中查询用户操作文件存储HDFS产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
GetFileSystem-获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
AliyunHDFSReadOnlyAccess
AliyunHDFSReadOnlyAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSReadOnlyAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 只读访问文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-...
AliyunHDFSFullAccess
AliyunHDFSFullAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSFullAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 管理文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-03 01:09:21 ...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
ListFileSystems-批量获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
通用批量导入服务
支持的数据源 源数据源 目标数据源 MaxCompute Table Lindorm宽表引擎 HDFS CSV或者OSS CSV HDFS Parquet或者OSS Parquet HDFS ORC或者OSS ORC 提交方式 快速导入数据任务支持以下方式提交。通过LTS操作页面提交 通过API接口提交 通过LTS...
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
使用JindoFuse挂载访问
JindoFuse是一个开源的分布式文件系统访问工具，同时兼容POSIX，使得AI应用程序可以直接使用OSS-HDFS服务作为数据存储和处理的解决方案。前提条件 已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。环境准备 ...
选型配置说明
由于Master节点主要用于存储HDFS元数据，且HDFS元数据存储在内存中，因此，建议根据HDFS中的文件数量选择16GB内存以上的机型。Utility节点的选型 在一个集群中仅需部署一台工具节点，工具节点主要用于部署CM（CDP的管控），以及Hive ...
账单查询
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏，单击 账单管理>账单详情。在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
EMR-5.12.x版本说明
发布日期 版本 日期 EMR-5.12.1 2023年7月13日 EMR-5.12.0 2023年6月1日 更新内容 EMR-5.12.1 服务 变更点 Spark Spark History Server支持默认使用OSS-HDFS存储。Spark3 Native Engine支持使用OSS和OSS-HDFS存储。Hive Hive warehouse支持...
EMR-3.46.x版本说明
发布日期 版本 日期 EMR-3.46.1 2023年7月13日 EMR-3.46.0 2023年6月1日 更新内容 EMR-3.46.1 服务 变更点 Spark Spark History Server支持默认使用OSS-HDFS存储。Spark3 Native Engine支持使用OSS和OSS-HDFS存储。Hive Hive warehouse支持...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
创建Hadoop计算源
HDFS上UDF存放目录默认为/tmp/dataphin，您也可以修改HDFS上UDF存放目录。若您需开启Impala任务进行快速查询和分析数据，请您提前在Hadoop集群上部署Impala（Impala v2.5及以上版本）。在E-MapReduce5.x计算引擎下，若您需要使用基于OSS...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。...
CreateMountPoint-创建挂载点
请求参数 名称 类型 必填 描述 示例值 FileSystemId string 是 文件系统 ID。37af8f42-2abc-4e74-889d-664f5163*AccessGroupId string 是 权限组 ID。acg-e3755fb0-358d-4286-9942-8d461048*NetworkType string 是 挂载点的网络类型。仅...
- 产品推荐
- 这些文档可能帮助您