文件存储CPFS
数据持久性和服务可用性 文件存储CPFS的数据持久化存储于阿里云自研的盘古分布式存储系统，支持多份数据拷贝，可以提供99.999999999%（11个9）的数据可靠性。文件存储CPFS的所有节点均为高可用设计。实现集群内秒级别的故障检测，并由CPFS...
创建Hadoop计算源
其他配置文件 上传keytab文件，您可以在HDFS集群中的NameNode节点使用ipa-getkeytab命令获取keytab文件。任务执行机器 配置MapReduce或Spark Jar的执行机器的连接地址。格式为 hostname:port 或 ip:port，port默认为22。MR日志路径 yarn...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。...同时，由于数据基于湖存储OSS-HDFS，可以创建一个新的EMR HBase集群，将其指向与主集群相同的HFile路径，以作为只读集群，从而分担主集群的读写压力。
ListFileSystems-批量获取文件系统详细信息
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
Snapshot（试用）
当您希望对OSS-HDFS服务的数据进行备份，在数据发生错误、被误删除时，将数据恢复至可用状态，您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能在使用方式上与HDFS的快照功能完全兼容，同时支持目录层级的操作。重要 此功能目前尚...
阿里云存储服务
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。NAS提供极速型、通用性能型、通用容量型三种规格：规格 说明 极速型 基于阿里云最新一代网络架构和全闪存储打造的高性能共享文件存储。最大容量256 ...
AliyunHDFSReadOnlyAccess
AliyunHDFSReadOnlyAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSReadOnlyAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 只读访问文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-...
查看集群日报与分析
HDFS User文件数量饼图 HDFS Group存储使用量饼图 HDFS Group文件数量饼图 HDFS文件大小分布饼图 HDFS冷热数据分布饼图 HDFS一级目录存储量分布 目录文件大小分布信息 HDFS的小文件会导致NameNode压力以及分片问题，所以HDFS小文件是一个...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
AliyunHDFSFullAccess
AliyunHDFSFullAccess 是阿里云管理的产品系统策略，您可以将 AliyunHDFSFullAccess 授权给 RAM 身份（RAM 用户、RAM 用户组和 RAM 角色），本策略定义了 管理文件存储HDFS的权限。策略详情 类型：系统策略 创建时间：2019-04-03 01:09:21 ...
文件存储HDFS的审计事件
文件存储HDFS已与操作审计服务集成，您可以在操作审计中查询用户操作文件存储HDFS产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
使用OSS-HDFS作为HBase的底层存储
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详情请参见 OSS-HDFS服务概述。HBase on ...
使用Hadoop作为元仓计算引擎进行元仓初始化
HDFS集群存储 参数 描述 NameNode NameNode用于管理HDFS中的文件系统名称空间及外部客户机的访问权限。单击 新增。在 新增NameNode对话框，填写NameNode的Hostname名称以及端口号，单击 确定。填写后自动生成对应的格式，例如 host=...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
存储说明
存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月 说明 实际价格请以控制台...
JindoFS实战演示
如何将HDFS海量文件归档到OSS 如何将HDFS海量文件归档到OSS 2021-05-18 如果您的数据存储在HDFS集群内，随着业务的发展，数据不断增长，可能导致存储空间不足、存储成本不断上升等问题，此时您可以将访问频率较低的HDFS数据归档到OSS中。...
创建Hive数据源
HDFS配置 HDFS Keytab File：上传keytab认证文件，您可以在HDFS Server上获取keytab文件。HDFS Principal：填写HDFS Keytab File文件对应的Principal名，例如 xxx/hdfsclient@xxx.xxx。Hive配置 JDBC URL：填写Hive的JDBC连接地址。支持...
阿里云OSS-HDFS（JindoFS服务）快照使用说明
背景信息 阿里云OSS-HDFS服务（JindoFS服务）是OSS新推出的存储空间类型，兼容HDFS接口，支持目录以及目录层级，通过JindoSDK 4.x可以兼容访问OSS-HDFS服务。OSS-HDFS服务的快照功能在使用上与HDFS的快照功能完全兼容。本文主要介绍在OSS-...
使用HDFS进行数据冷热分离
objects_chunk_size_to_delete 否 一次最多可以删除HDFS文件的数量。默认为1000。在 policies 中添加一个新的策略。策略内容如下。hdfs_ttl><volumes><local>!包含默认存储策略下所有的磁盘-><disk>disk1</disk><disk>disk2</disk><disk>...
Apache HDFS透明缓存加速
JindoFSx后端基于HDFS，可以提供海量的存储，但是本地盘的容量是有限的，因此JindoFSx会自动淘汰本地较冷的数据备份。您可以通过修改 storage.watermark.high.ratio 和 storage.watermark.low.ratio 两个参数来调节本地存储的使用容量，...
HDFS
如果您的数据存储在HDFS中，需先确认HDFS源访问正常，测试闪电立方与HDFS源端之间网络连通性，并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。前提条件 源端HDFS已通过网线直连...
HDFS
如果您的数据存储在HDFS中，需先确认HDFS源访问正常，测试闪电立方与HDFS源端之间网络连通性，并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。前提条件 源端HDFS已通过网线直连...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
阿里云OSS/OSS-HDFS服务透明缓存加速
JindoFSx存储加速系统提供了透明缓存的使用方式，兼容原生OSS/OSS-HDFS存储方式，文件以对象的形式存储在OSS/OSS-HDFS上，每个文件根据实际访问情况会在本地进行缓存，提升访问OSS/OSS-HDFS的效率，同时兼容了原有OSS/OSS-HDFS文件形式，...
云存储网关
本地部署的网关依赖于您虚拟环境后端存储的可靠性，建议您使用RAID存储或高可靠分布式存储作为缓存盘。网关将缓存盘的新数据刷新上传到OSS Bucket，依托OSS数据不低于99.9999999999%（12个9）的设计持久性，保证了数据的安全可靠，进而确保...
HBASE-HDFS
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBase-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
DeleteFileSystem-删除文件系统
删除已有的文件系统。接口说明 仅当文件系统的挂载点数目为 0 时，支持删除文件系统实例。文件系统实例一旦删除，数据将不可恢复，请谨慎操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI...
DeleteAccessGroup-删除权限组
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 InputRegionId string 是 ...
Spark/Hive/HDFS使用JindoSDK访问OSS-HDFS服务
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详细信息请参见 OSS-HDFS服务概述。...
DeleteMountPoint-删除挂载点
f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com FileSystemId string 是 文件系统 ID。37af8f42-2abc-4e74-889d-664f5163*返回参数 名称 类型 描述 示例值 object RequestId string 请求 ID。55C5FFD6-BF99-41BD-9C66-FFF39189*示例 正常返回...
HDFS
以下示例是一个简单的CSV文件，您可以在本地创建一个新的文本文件 example.txt，在其中粘贴如下内容：7,8,9 然后执行如下命令将文件上传到HDFS。hadoop fs-mkdir-p hdfs:/172.168.XX.XX:9000/test/p/d=1 hadoop fs-copyFromLocal example....
开通并授权访问OSS-HDFS服务
本文介绍如何开通并授权访问OSS-HDFS服务。前提条件 华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北6（乌兰察布）、华南1（深圳）、华南3（广州）、华北3（张家口）、中国香港、日本（东京）、新加坡、德国（法兰克福...
CreateVscMountPoint-创建VSC挂载点
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
DeleteVscMountPoint-删除VSC挂载点
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 InputRegionId string 是 ...
DeleteAccessRule-删除权限组规则
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 InputRegionId string 是 ...
数据湖生态接入
HDFS服务中的数据 Presto Presto使用JindoSDK查询OSS-HDFS服务中的数据 Spark Spark使用JindoSDK查询OSS-HDFS服务中的数据 Thanos 使用Thanos访问OSS 阿里云生态 DataLakeAnalytics DataLakeAnalytics+OSS：基于OSS的Severless的交互式查询...
时序分析存储概述
使用分析存储（Analytical Store）功能，您可以低成本存储时序数据以及快速查询和分析时序数据。分析存储功能主要用于时序数据长期存储和分析场景。背景信息 分析存储是 表格存储 针对时序场景进行定制优化的低成本存储引擎。分析存储不仅...
入门概述
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及AI训练PAI等...
JindoData版本说明
JindoData 4.1.x版本 版本概要 JindoData 4.1.0版本在阿里云OSS-HDFS服务（JindoFS服务）上支持随机写等重要特性，并添加JindoFSx存储加速系统，支持对原生阿里云OSS和OSS-HDFS服务（JindoFS服务）提供分布式缓存。主要功能 JindoFS存储...
- 产品推荐
- 这些文档可能帮助您