Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
文件管理最佳实践
文件格式 文件存储服务目前支持上传图片、音频和视频文件。文件格式要求如下表所示。文件类型 文件格式 图片 jpg/jpeg、png、gif、bmp、wbmp、webp、svg 音频 mp3 视频 mp4、ogg、webm 上传文件 以下代码展示了如何通过 uploadFile 方法以...
查看低频/归档存储文件
在下拉框中选择 低频存储文件 或 归档存储文件，可查看目标文件系统已转储至低频存储或归档存储中的 文件名、文件大小、存储类型 及该文件最近一次被访问的时间等信息。您还可以单击 生命周期策略 页签，查看该文件系统配置的生命周期策略...
常见问题
产品简介FAQ 什么是文件存储NAS？文件存储NAS支持哪些访问协议？如何选择NFS和SMB文件系统协议？每个账户可以创建多少个文件系统、文件系统有什么限制？更多产品简介常见问题 产品定价FAQ 开通NAS服务后，就开始计费吗？购买了存储包为什么...
入门概述
什么是文件存储CPFS 产品规格 使用限制 文件存储CPFS的文件系统类型 文件存储CPFS支持两种文件系统类型，分别为CPFS和CPFS智算版。您可以根据业务负载选择其中一种或几种文件系统，为业务负载提供必要的可靠性、安全性和持续性。更多详情，...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
新功能发布记录
2020-09-30 全部 什么是文件存储CPFS 文件存储CPFS 1.0（商用）文件存储CPFS 1.0版本提供高可用、高可靠、高可扩展、高性能的能力，适用各种高性能计算HPC场景。2019-08-09 部分 什么是文件存储CPFS 文件存储CPFS（公测）CPFS并行文件系统...
入门概述
文件系统常用操作 如果您想…您可以参考…创建文件系统 创建文件系统 添加挂载点 管理挂载点 创建权限组和规则 管理权限组 挂载文件系统 ECS实例挂载文件系统 容器挂载文件系统 函数计算挂载文件系统 跨网络或账户访问文件系统 本地数据...
如何扩容云存储文件网关缓存
关于扩容云存储文件网关缓存的具体操作，请参见 云存储文件网关缓存扩容。
什么是文件存储 HDFS 版
文件存储 HDFS 版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您...
API概览
本产品（文件存储（NAS...GetDirectoryOrFileProperties 查询低频介质的文件信息 查询指定目录下是否包含低频存储文件，或者查询指定文件是否为低频存储文件。DescribeLifecyclePolicies 查询生命周期管理策略列表 获取生命周期管理策略列表。...
常见问题
问题概览 产品咨询类 什么是文件存储CPFS？CPFS适用什么场景？CPFS的优势有哪些？如何开通服务，并创建文件存储CPFS文件系统？如何选择CPFS的性能规格？CPFS-POSIX支持哪些操作系统？CPFS-NFS支持哪些操作系统？如何选择CPFS-POSIX客户端和...
文件系统存储类型
最小配置空间 目录 目录 目录 最小转存储文件大小 无 64 KiB 64 KiB 最大转存储文件大小 无 4.88 TiB 4.88 TiB 最低存储时间 无 无 60天 更多有关于标准存储的规格信息，请参见 通用型NAS。应用场景 低频存储 Web内容管理 大多数Web内容...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
计费项
当您使用CPFS存储文件时，CPFS会根据您存储的类型、大小、时长收取费用。如果您的业务涉及数据流动和协议服务时，CPFS会收取带宽费用。说明 本文仅说明相关计费项及付费方式。有关CPFS计费项的定价详情，请参见 CPFS产品定价。CPFS计费项 ...
功能特性
文件存储 HDFS 版 具有无缝集成、共享访问、安全控制、线性扩展等多种特性。无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括...
基本概念
NAS专用术语 术语 定义 注意事项 文件系统 存储文件的地方，通过计算节点挂载访问。以传统的目录树形式管理文件的数据和元数据。支持数百个计算节点同时访问，进行数据共享和高并发读写。阿里云文件存储NAS适合通过应用程序使用，而不适合...
计费概述
文件存储NAS支持创建不同类型的NAS文件系统，不同类型的文件系统计费标准不同，本文介绍文件存储NAS的计费情况。付费方式 付费模式 说明 按量付费 默认付费方式。先使用，后付费，适用于业务用量经常有变化的场景。通用型NAS按照各计费项的...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
CPFS存储卷概述
更多信息，请参见 什么是文件存储CPFS。适用场景 推荐在容器场景对低延迟，百万以上小文件的读写需求，包括AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析以及影视渲染等需要超高吞吐场景的使用。根据业务需求，您可以对...
在云桌面内挂载CPFS文件系统
更多信息，请参见 什么是文件存储CPFS。文件存储CPFS提供NFS协议服务，通过CPFS-NFS客户端在无影云桌面的环境中进行挂载访问，从而实现无影云桌面对CPFS文件系统中的数据进行单机训练、仿真、调试和管理。更多信息，请参见 协议服务概述。...
扩容文件系统
创建文件存储CPFS文件系统时的配置容量即为您能使用的最大容量，当数据写满后，将导致数据无法写入。为了防止因为数据无法写入影响业务使用，建议您在数据写满前扩容当前文件存储CPFS文件系统的配置容量。本文介绍如何扩容文件存储CPFS文件...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
一般性问题
1.数据库文件存储DBFS是什么，适合什么场景？数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2...
什么是文件存储NAS
阿里云文件存储NAS（Apsara File Storage NAS）是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口，天然适配原生操作系统...
修改文件系统
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...
开通文件存储 HDFS 版服务
本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...
监控与日志
监控与日志可有效保障您文件存储NAS资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和业务运行...
删除文件系统
警告 删除文件系统后，存储在文件系统中的数据将被删除且无法恢复，请在删除前确认数据已不再使用。登录 文件存储控制台。在左侧导航栏，选择 文件系统>文件系统列表。在顶部菜单栏，选择地域。找到目标文件系统，单击操作列的 图标>删除。...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
挂载问题
1.挂载数据库文件存储（DBFS）的约束？数据库文件存储（DBFS）默认会在“/mnt/dbfs”目录下创建挂载点（例如，“/mnt/dbfs/xxxxxx”）。数据库文件存储（DBFS）要求挂载点为空，即“/mnt/dbfs/xxxxxx”目录为空，不能在挂载点下存在文件...
概览
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个...
ST_ExportTo
将轨迹的二进制通过Append方式追加到指定的文件夹中的.gtf 格式文件中。文件名格式为：<文件的序号倒序排列>_0_1.gtf，单个文件大小约2GB，由 ganos.trajectory.ext_storage_block_size 参数控制。如果对应的文件夹已经存在.gtf 文件，则将...
ST_ExportTo
将轨迹的二进制通过Append方式追加到指定的文件夹中的.gtf 格式文件中。文件名格式为：<文件的序号倒序排列>_0_1.gtf，单个文件大小约2GB，由 ganos.trajectory.ext_storage_block_size 参数控制。如果对应的文件夹已经存在.gtf 文件，则将...
ST_ExportTo
将轨迹的二进制通过Append方式追加到指定的文件夹中的.gtf 格式文件中。文件名格式为：<文件的序号倒序排列>_0_1.gtf，单个文件大小约2GB，由 ganos.trajectory.ext_storage_block_size 参数控制。如果对应的文件夹已经存在.gtf 文件，则将...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
用量查询
如果您希望查看文件存储CPFS的使用记录明细，可导出文件存储CPFS的用量明细表。操作步骤 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 用量明细 页签，按以下要求完成各配置项。参数 说明 产品 选择 文件存储NAS。计量规格 ...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...
释放文件系统实例资源
警告 删除文件系统后，存储在文件系统中的数据将被删除且无法恢复，请在删除前确认数据已不再使用。如果需要继续使用文件系统中的数据，请提前迁移数据。关于迁移数据的更多信息，请参见 迁移说明。前提条件 如果为RAM用户，请确认RAM用户...
- 产品推荐
- 这些文档可能帮助您