存储格式与SerDe
STORED AS TEXTFILE 数据文件的存储格式为纯文本文件，默认文件类型。文件中的每一行对应表中的一条记录。STORED AS PARQUET 数据文件的存储格式为PARQUET。STORED AS ORC 数据文件的存储格式为ORC。STORED AS RCFILE 数据文件的存储格式为...
使用限制
本文介绍了阿里云文件存储NAS的产品规格、操作系统、协议类型、网络及功能使用限制等。产品规格 限制项 说明 每个账号在单个地域内可创建的文件系统数量 通用型NAS：20个 极速型NAS：200个 单个文件系统可创建挂载点的数量 通用型NAS：2个 ...
通过SLS完成日志数据入湖OSS
数据湖支持在低存储成本的情况下，更好地满足数据长期存储、查询、分析、读取等需求。本文介绍通过日志服务SLS完成日志数据入湖的操作方式。前提条件 已在日志服务Project所在的地域创建Bucket。具体操作，请参见 控制台创建存储空间。背景...
概述
是 相同数据量的情况下，占用的存储空间为CSV格式文件占用的存储空间的45%。使用说明 归档冷数据 您需要先登录 PolarDB控制台 并 开启冷数据归档 功能，然后 连接数据库集群，再执行冷数据归档操作：普通表：您可以手动将冷数据 归档为CSV...
OSS下载的RAR文件存在乱码
问题描述 通过OSS下载的RAR格式文件，打开文件后存在乱码。问题原因 Object的文件类型不正确，HTTP头的 Content-Type 参数和实际文件类型参数不匹配。解决方案 修改Object属性中的HTTP表头，将设置中的 Content-Type 值改成 application/x-...
ST_ExportTo
将轨迹的二进制通过Append方式追加到指定的文件夹中的.gtf 格式文件中。文件名格式为：<文件的序号倒序排列>_0_1.gtf，单个文件大小约2GB，由 ganos.trajectory.ext_storage_block_size 参数控制。如果对应的文件夹已经存在.gtf 文件，则将...
ST_ExportTo
将轨迹的二进制通过Append方式追加到指定的文件夹中的.gtf 格式文件中。文件名格式为：<文件的序号倒序排列>_0_1.gtf，单个文件大小约2GB，由 ganos.trajectory.ext_storage_block_size 参数控制。如果对应的文件夹已经存在.gtf 文件，则将...
使用限制
list 目录及其下面的文件不会统计为打开文件。不支持在 Microsoft Windows 上使用 DBFS 客户端访问 DBFS 文件系统。每台ECS最多可挂载16个DBFS文件系统（开启RAID0条带化时最多可挂载2个DBFS文件系统）。文件系统限制 阿里云DBFS文件系统的...
阿里云文件存储NAS挂载使用
重要 创建VMware虚拟机时，如果选择阿里云文件存储NAS提供的数据存储，虚拟机磁盘格式虽然为精简置备，但实际为厚置备格式，请注意数据存储的空间使用情况。前提条件 创建阿里云文件存储NAS文件系统，详细内容请参考 创建文件系统。开工单...
上传本地文件
使用限制 目前仅支持上传CSV格式文件，且CSV文件中必须包含列名称。文件编码格式必须为UTF-8。单次上传CSV文件中，数据行数最多为5,000行，文件大小最多为5 MB。添加本地文件 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例 ID...
开通文件存储 HDFS 版服务
本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面，填写必要信息后单击 ...
管道
action2：sys/saveas,b_dGVzdC1idWNrZXQ,o_ZG9jX2ltYWdlcy97aW5kZXh9LnBuZw/notify,topic_ZG9jX2ltYWdlcw，表示将转换完成的图片文件存储到 oss:/test-bucket/doc_images/路径中，并在转换完成后将通知发送到 doc_images 的MNS主题。
触发器
例如将Bucket某个目录中新增的后缀为.docx的文件转换成.pdf格式、将新增的.mov格式的文件转码为.mp4等。和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
批处理
例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批处理将对满足条件的所有文件生成对应数据处理任务，请使用...
迁移开源HDFS的数据到文件存储 HDFS 版
本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...
在线迁移服务参数说明
以下格式均为非法：存储桶（Bucket）（旧版为 OSS Bucket）源数据所在的存储空间名称，前缀和后缀不带空格、换行、制表符等非法字符。前缀（旧版为 OSS Prefix）指定数据路径前缀，格式要求不能以正斜线（/）开头，必须以正斜线（/）结尾，...
账单和用量查询
您可以通过查询文件存储NAS的账单，及时了解其收费明细，更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页...
使用云企业网跨VPC访问文件存储 HDFS 版
以下内容为您展示如何测试ECS与文件存储HDFS版文件系统之间的连通性。登录VPC2的ECS实例。具体操作，请参见 ECS远程连接操作指南。验证ECS和 文件存储 HDFS 版 之间的连通性。ping f-xxxxxx....
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
使用RAM授权访问文件存储 HDFS 版
示例一：授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
消息通知
使用处理参数处理文档转换并接收MNS消息通知 转换信息 转换前 文件类型：DOCX 文件名称：example.docx 转换后 文件类型：PNG 文件存储路径：oss:/test-bucket/doc_images/消息通知 将转换结果通知发送到主题名称为 test-topic 的MNS。...
账单查询
您可以通过阿里云管理控制台查看 文件存储 HDFS 版 的费用账单。查看文件系统费用账单 登录 用户中心。在左侧导航栏，单击 账单管理>账单详情。在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储 HDFS 版。您还可以通过 ...
账单查询
本文介绍查询文件存储CPFS账单的操作步骤。登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 文件存储NAS，产品明细为 CPFS（按量付费）或 CPFS（包年包月）。您还可以通过...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
0053-00000003
问题描述 视频截帧请求访问的目标视频文件打开失败。问题原因 您发起了视频截帧请求，但是目标视频文件打开视频流失败导致截帧失败。问题示例 无。解决方案 当前仅支持对视频编码格式为H264和H265的视频文件进行视频截帧，请确保您访问的...
新功能发布记录
2021-10-27 全部 管理Fileset 数据流动 文件存储CPFS 2.0 文件存储CPFS 2.0版本支持更高的性能，更丰富的功能，为AI训练和HPC高性能计算提供高性能的并行文件存储服务。2020-09-30 全部 什么是文件存储CPFS 文件存储CPFS 1.0（商用）文件...
阿里云存储服务
为您的数据选择合适的阿里云存储服务，也就是在数据的可用性、持久性和性能方面找到最匹配的产品。说明 可用性是指存储产品根据请求提供数据的能力。持久性是指年平均预期数据丢失。性能是指存储产品可以提供的IOPS或吞吐量。阿里云提供三...
CreateDataFlowTask-创建数据流动任务
Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。Inventory：获取 CPFS 上数据流动管理的文件清单，...
上传到OSS的文件存储类型为归档存储无法下载文件
问题原因 OSS文件上传时会继承Bucket的存储类型，因此上传到OSS的文件存储类型为归档存储的原因如下：Bucket的存储类型为标准存储，但是需要下载的文件为归档存储，则说明上传文件时的代码中设置的存储类型为归档存储。Bucket的存储类型为...
读写访问文件类问题
当您访问文件系统中的文件时，文件系统中的文件会受到某些限制影响，导致文件操作错误、挂载点无响应或访问无响应等。您可以在本文中查找一些常见文件操作错误、文件属主、数据不同步或访问无响应的解决方案。交叉挂载兼容性问题 Linux挂载...
AI能力清单
本文为您介绍AI存储支持的所有AI能力。AI存储支持的AI能力列表：类目 能力名称 API接口 技术文档 目标检测 IPC视频目标检测 DetectVideoIPCObject IPC视频目标检测 IPC图像目标检测 DetectIPCObject IPC图像目标检测 文字识别 视频文字识别...
OSS文件处于冻结状态无法正常访问
如果文件类型为归档存储或冷归档存储类型，请执行以下操作：您在访问归档存储或冷归档存储类型的文件（Object）之前，需要先通过RestoreObject接口解冻文件。更多信息，请参见 解冻文件。解冻后再将文件转换为标准存储或者低频存储。说明 ...
什么是文件存储 HDFS 版
文件存储 HDFS 版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。产品概述 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。您...
生命周期管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
分享和导出Notebook文件
在顶部菜单栏中，选择 File>Save and Export Notebook As.>目标格式，即可将该文件导出为所选的 目标格式 文件。说明 导出的可选目标格式取决于nbconvert配置，详情请参见 nbconvert官方文档。分享Notebook文件 在 Notebook 页签中，右键...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
计费项
当您使用CPFS存储文件时，CPFS会根据您存储的类型、大小、时长收取费用。如果您的业务涉及数据流动和协议服务时，CPFS会收取带宽费用。说明 本文仅说明相关计费项及付费方式。有关CPFS计费项的定价详情，请参见 CPFS产品定价。CPFS计费项 ...
概述
阿里云提供针对各种存储资源...云存储网关 云存储网关（Cloud Storage Gateway）是一款可以部署在用户IDC和阿里云上的网关产品，以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。
- 产品推荐
- 这些文档可能帮助您