使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
Ambari与文件引擎集成
本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提条件 请保证您的Lindorm实例和Ambari集群在同一VPC网络内。请保证您的Ambari节点在...
EMR-5.12.x版本说明
plugin 1.0.0 Zookeeper 3.6.3 HBase 2.4.9 Phoenix 5.1.2 自定义集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 YARN 3.2.1 Hive 3.1.3 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 ...
SQL查询
SQL示例 查询当前行驶速度大于80.0 km/h，并且排放值大于2.0 mg的车辆位置 select vin_id,gps from `vehicles_metadata` where speed>80.0 and bms_soc>2.0 limit 10;查询浙江省杭州市内的车辆信息 select vin_id from `vehicles_metadata`...
添加HDFS数据源
添加HDFS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎能够读取HDFS的数据，如果您要将HDFS数据导入到 云原生多模数据库 Lindorm 宽表中，需要先添加HDFS数据源。本文介绍如何添加HDFS数据源。前提条件 已购买LTS数据同步服务，具体...
配置HDFS输入组件
HDFS输入组件用于读取HDFS数据源的数据。同步HDFS数据源的数据至其他数据源的场景中，您需要先配置HDFS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HDFS输入组件。前提条件 已创建HDFS数据源，如何创建，请...
HDFS指标
HDFS指标包含以下部分：HDFS-HOME HDFS-DataNodes HDFS-NameNodes HDFS-JournanlNodes HDFS-HOME 参数 指标 描述 BlocksTotal hdfs_namenode_fsnamesystem_BlocksTotal NameNode总的块数。CapacityRemainingGB hdfs_namenode_fsnamesystem_...
EMR-3.47.x版本说明
HDFS 1.0.0 JindoData 4.6.11 Knox 1.5.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.6.3 HBase 1.7.1 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 ...
EMR-3.51.x版本说明
Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Zookeeper 3.8.4 Knox 1.5.0 HBase 1.7.1 JindoCache 6.2.5 Phoenix 4.16.1 自定义集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1....
使用RAM授权访问文件存储 HDFS 版
授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统实例ID，...
EMR-3.48.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
通过NFS使用NAS动态存储卷
容器服务 Kubernetes 版 CSI支持subpath方式和filesystem方式两种类型的NAS动态存储卷挂载，您可以通过容器服务控制台或kubectl两种方式进行挂载。本文介绍如何使用阿里云NAS动态存储卷，以及如何验证NAS存储卷的持久化存储与共享存储特性...
CreateFileSystem-创建文件系统
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
DBS沙箱费用
沙箱存储费用 沙箱存储费用 开启沙箱功能后，系统会自动将待恢复的数据同步至沙箱存储中，并在沙箱存储中生成多个直接可用的沙箱实例快照，DBS将根据沙箱存储中的数据量收取沙箱存储费用。沙箱存储费用的计费方式与价格如下。沙箱存储费用...
使用须知
为了保证云存储网关实例的正常运行，在使用之前，请您务必认真阅读以下使用须知。文件网关须知 建议不要频繁中断大文件拷贝到NFS或SMB共享文件夹。由于后台的分段上传机制，中断大文件拷贝会造成碎片遗留在OSS。这些碎片会影响OSS的空间...
CreateVscMountPoint-创建VSC挂载点
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
产品定价
计算节点规格 元/每个节点/每小时 最低购买节点数量 2C8G 0.7975 2 4C16G 1.51625 2 8C32G 2.95375 2 16C64G 5.82875 2 存储资源 目前存储弹性模式 AnalyticDB PostgreSQL版 提供了两种 磁盘存储类型：ESSD云盘（推荐）：适用于 高可用 和 ...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
规格与定价（金融云）
275 2.655 polar.mysql.g2.xlarge 8核16 GB 1,575 3.285 polar.mysql.g4.xlarge 8核32 GB 2,475 5.16 polar.mysql.g4.2xlarge 16核64 GB 4,875 10.155 存储空间计费规则 存储空间是指数据文件、索引文件、日志文件（在线日志和归档日志）和...
HBASE-HDFS
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBase-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
什么是OSS-HDFS服务
基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS...
功能特性
数据存储 功能集 功能 功能描述 ...基本概念 客户端 加速客户端 阿里云NAS提供的加速客户端为应用提供了接近本地文件系统的小文件操作性能和计算端分布式缓存能力，可在不增加成本的情况下明显的提高容器计算速度。创建CNFS管理NAS文件系统
应用场景
当利用容器环境进行计算时，阿里云NAS提供的 加速客户端 为应用提供了接近本地文件系统的小文件操作性能和计算端分布式缓存能力，可在不增加成本的情况下明显的提高计算速度。内容管理和Web服务 NAS可以用作一种可快速弹性伸缩、多机共享的...
AddUserHdfsInfo
调用AddUserHdfsInfo在Xpack里增加用户自建的Hdfs地址。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
选型配置说明
由于Master节点主要用于存储HDFS元数据，且HDFS元数据存储在内存中，因此，建议根据HDFS中的文件数量选择16GB内存以上的机型。Utility节点的选型 在一个集群中仅需部署一台工具节点，工具节点主要用于部署CM（CDP的管控），以及Hive ...
统一命名空间缓存加速
如果数据源为OSS、OSS-HDFS、Apache HDFS，请先完成如下配置：阿里云OSS/OSS-HDFS服务透明缓存加速 Apache HDFS透明缓存加速 如果数据源是阿里云文件存储NAS，则需要保证挂载在各个节点的相同路径下（NS和STS服务所在节点）。说明 本文以...
HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储
阿里云开源大数据开发平台E-MapReduce（简称EMR）支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群，并在创建集群时选择Hbase。具体...
EMR HBase版本
EMR-5.12.2 3.2.1 2.4.9 5.1.2 EMR-5.13.1 3.2.1 2.4.9 5.1.2 无 EMR-5.14.2 3.2.1 2.4.9 5.1.2 无 EMR-5.15.1 3.2.1 2.4.9 5.1.2 在配置中增加配置项，您可以根据自己的需求选择HBase Thrift Server的版本，包括v1和v2。EMR 3.x系列 EMR...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
引擎简介
Lindorm文件引擎是面向海量非结构化数据的分布式文件存储服务，与多模引擎共享存储，LindormDFS支撑，充分利用了对象存储的低成本与高可靠、块存储的高性能等优势，并通过高低速分层存储、副本共享去重、智能冷热转存等技术，面向用户提供...
JindoFS实战演示
如何将HDFS海量文件归档到OSS 如何将HDFS海量文件归档到OSS 2021-05-18 如果您的数据存储在HDFS集群内，随着业务的发展，数据不断增长，可能导致存储空间不足、存储成本不断上升等问题，此时您可以将访问频率较低的HDFS数据归档到OSS中。...
OSS的低频访问和归档存储的计费容量大于实际存储量的...
概述 本文主要介绍阿里云对象存储OSS的低频访问和归档存储的计费容量远远大于实际存储量的原因。详细信息 对象存储OSS的低频访问和归档存储类型文件的最小存储单元为64KB，所有小于64KB的文件都会按照64KB计算。所以，如果您存储空间内有很...
数据迁移概述
您可以将数据迁移至OSS-HDFS，或者在OSS-HDFS的不同Bucket之间迁移数据，具体如下：迁移方式 说明 相关文档 阿里云Jindo DistCp 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用...
GetRegion-查询可用区
StorageType string 存储介质类型。包括：STANDARD：标准型 PERFORMANCE：性能型 STANDARD ProtocolType string 协议类型。仅支持 HDFS（Hadoop Distributed File System）。HDFS 示例 正常返回示例 JSON 格式 {"RequestId":"AEC07154-5A4C...
HDFS组件使用的本地磁盘目录
如果节点有两块盘，那么存储目录为/mnt/disk1/hdfs和/mnt/disk2/hdfs。高可用集群 组件 使用目录 描述 ZKFailoverController（ZKFC）无 ZFKC不使用本地磁盘目录。NameNode/mnt/disk1/hdfs/name/mnt/disk1/hdfs/edit/mnt/disk1/hdfs/name：...
基本概念
文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所...
HDFS
如果您的数据存储在HDFS中，需先确认HDFS源访问正常，测试闪电立方与HDFS源端之间网络连通性，并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。前提条件 源端HDFS已通过网线直连...
HDFS
如果您的数据存储在HDFS中，需先确认HDFS源访问正常，测试闪电立方与HDFS源端之间网络连通性，并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。前提条件 源端HDFS已通过网线直连...
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
常见问题
阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及...
- 产品推荐
- 这些文档可能帮助您