存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
迁移开源HDFS的数据到文件存储 HDFS 版
本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
挂载文件存储 HDFS 版文件系统
本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK，且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端，建议您使用...
账单查询
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏，单击 账单管理>账单详情。在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
账单和用量查询
您可以通过查询文件存储NAS的账单，及时了解其收费明细，更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页...
安装文件系统SDK
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息 本文以hadoop...
使用云企业网跨VPC访问文件存储 HDFS 版
以下内容为您展示如何测试ECS与文件存储HDFS版文件系统之间的连通性。登录VPC2的ECS实例。具体操作，请参见 ECS远程连接操作指南。验证ECS和 文件存储 HDFS 版 之间的连通性。ping f-xxxxxx....
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
账单查询
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储NAS，产品明细为 CPFS（按量付费）或 CPFS（包年包月）。您还可以通过 统计项 和 统计周期 选择账单的展示内容。参数 说明 统计项 账单按指定分类展示。计费项：将账单按...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
使用RAM授权访问文件存储 HDFS 版
文件存储 HDFS 版 常用的系统策略包括以下两种：AliyunHDFSFullAccess（不推荐）：为RAM用户授予 文件存储 HDFS 版 管控系统的完全管理权限。该权限风险很高，不推荐使用。AliyunHDFSReadOnlyAccess：为RAM用户授予 文件存储 HDFS 版 管控...
Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
手动下载备份集
通过 file<下载任务ID>.tar 命令查看gzip命令执行后的文件格式：如果文件格式为 POSIX tar archive，则执行 tar xvf<下载任务ID>.tar 命令，获得<下载任务ID>文件。如果文件格式为 Zip archive data,at least v2.0 to extract，则执行 ...
管道
action2：sys/saveas,b_dGVzdC1idWNrZXQ,o_ZG9jX2ltYWdlcy97aW5kZXh9LnBuZw/notify,topic_ZG9jX2ltYWdlcw，表示将转换完成的图片文件存储到 oss:/test-bucket/doc_images/路径中，并在转换完成后将通知发送到 doc_images 的MNS主题。
控制台快速入门
本文以图片文件为例，为您介绍创建存储空间、上传文件、下载文件、分享文件的快速操作指导。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。步骤一：开通OSS服务 打开 OSS开通页面。在OSS开通页面...
什么是文件存储 HDFS 版
文件存储 HDFS 版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您...
概述
归档后的数据格式会转变为CSV或ORC格式并分成多个文件存储在OSS上，PolarStore中的这部分数据会被自动删除，存储费用也会随着存储空间容量的降低而减少。说明 冷数据归档完成后，PolarStore中的原表会转变为OSS上的归档表，归档表不支持...
备份规则说明
repositories 目录下（截图中蓝框开头），仓库备份文件的存储路径格式为/repositories/<企业仓库路径>/<仓库UUID>,其中：第一级路径/repositories：所有企业的仓库备份的根路径 第二级路径<企业仓库路径>：企业仓库的路径，例如本例中为 ...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
文档处理概述
28 Oct 2022 06:40:10 GMT Authorization:OSS qn6qrrqxo2oawuk53otf*:UNQDb7GapEgJkcde6OhZ9J*/将文件example.docx的1-10页转换为PNG格式的图片文件，转换后的存储路径为：oss:/test-bucket/doc_images/页码.png。x-oss-async-process=doc/...
修改文件系统
本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 ...
上传到OSS的文件存储类型为归档存储无法下载文件
问题原因 OSS文件上传时会继承Bucket的存储类型，因此上传到OSS的文件存储类型为归档存储的原因如下：Bucket的存储类型为标准存储，但是需要下载的文件为归档存储，则说明上传文件时的代码中设置的存储类型为归档存储。Bucket的存储类型为...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
OSS文件处于冻结状态无法正常访问
文件存储类型是归档存储、冷归档存储或者深度冷归档存储。文件存在违法违规情况。问题原因 阿里云对象存储OSS中的文件处于冻结状态有以下几种情况：在对象存储OSS中，如果Bucket的存储类型是归档存储或者冷归档存储时，默认存放到该Bucket...
阿里云文件存储NAS挂载使用
VMware服务的主机不但可以提供计算、网络资源，还提供存储资源。通过VMware vSAN统一管理主机的NVME SSD，提供全闪的分布式存储。...登录vSphere Client，ESXi主机已经挂载阿里云文件存储NAS，数据存储名称格式为NFSDatastore-{文件系统ID}。
变量
例如：文档转换触发器将文档转换为jpg图片格式，将输出路径设置为 oss:/test-bucket/output/{dirname}/{barename}/{index}.jpg，处理时 {autoext} 将被替换为 jpg，处理后生成的jpg图片文件保存路径为 oss:/test-bucket/output/源文件目录/...
什么是文件存储NAS
阿里云文件存储NAS（Apsara File Storage NAS）是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口，天然适配原生操作系统...
0016-00000330
例如，源文件存储类型为归档类型。问题示例 以下CopyObject请求中x-oss-copy-source请求头指向的源文件archived-object为归档类型，归档类型文件处于不可读取状态。PUT/target-object ...
创建CNFS管理NAS文件系统（推荐）
容器网络文件系统CNFS（Container Network File System）将阿里云的文件存储抽象为一个K8s对象（CRD）进行独立管理，包括创建、删除、描述、挂载、监控及扩容等运维操作。您可以通过CNFS创建一个新的NAS文件系统或管理已存在的NAS文件系统...
存储容量单位包SCU
抵扣示例 陈先生2021年01月在华北2（北京）购买了500 GiB的通用型NAS资源包和100 GiB SCU，其02月份在华北2（北京）通用容量型NAS每小时文件存储量为600 GiB，则陈先生当月的存储费用抵扣情况如下所示：文件系统类型 资源包抵扣 SCU抵扣 ...
文件存储NAS
抵扣顺序 NAS存储费用抵扣顺序为：存储包>资源包>SCU>按量付费 抵扣案例 陈先生2021年01月在华北2（北京）购买了500 GiB的通用型NAS资源包和100 GiB SCU，其01月份在华北2（北京）仅使用了容量型NAS，且容量型NAS每小时文件存储量为600 GiB...
转换镜像格式
将VHD格式转换为其他格式或者将其他文件格式转换为VHD格式时，需使用 vpc 参数代替VHD格式，否则可能造成qemu-img工具无法识别VHD镜像格式导致转换失败，类似报错信息如下。操作步骤 本地为Windows操作系统 您可以按照以下步骤在Windows...
0042-00000310
问题描述 UploadPartCopy请求中 x-oss-copy-source 参数指定的拷贝源文件为归档存储（Archive）类型。问题原因 您发起了UploadPartCopy请求来从一个已存在的Object中拷贝数据来上传一个Part，x-oss-copy-source 参数用来指定拷贝源。该参数...
API概览
本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
计费概述
文件存储NAS支持创建不同类型的NAS文件系统，不同类型的文件系统计费标准不同，本文介绍文件存储NAS的计费情况。付费方式 付费模式 说明 按量付费 默认付费方式。先使用，后付费，适用于业务用量经常有变化的场景。通用型NAS按照各计费项的...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
集成概览
本文为您介绍文件存储 NAS支持的集成方案。OpenAPI集成 文件存储 NAS提供文件系统、权限组、挂载点、生命周期管理、快照等功能的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 版本说明 ...
- 产品推荐
- 这些文档可能帮助您