0004-00000302
单个阿里云账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，...
OSS性能与扩展性最佳实践
如果您在上传大量文件（Object）时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间（Bucket）中的某个特定分区的情况。此时如果您的请求次数过多，会导致请求速率下降。出现此类问题时，建议您...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
使用限制
000，但在不同的读写方式下，实际能达到的值如下：读写方式 QPS 顺序读写 2,000 非顺序读写 10,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的...
文件存储HDFS版
将Hadoop或其他机器学习应用部署在多个计算资源上，应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算，也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
CPFS并行文件存储
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
文件存储
本文为您介绍 PolarDB PostgreSQL版（兼容Oracle）的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中；只读节点的CLOG文件会在各自...
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
生命周期管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
数据安全
可用性说明 对象存储 OSS 数据备份和容灾 文件存储 NAS 备份和恢复文件 云原生大数据计算服务 MaxCompute 备份与恢复 同时PAI EasyCkpt是PAI为PyTorch大模型训练场景而开发的高性能Checkpoint框架，通过实现接近零开销的模型保存机制，...
阿里云存储服务
阿里云提供三类存储服务：对象存储、块存储和文件存储，分别满足不同的存储需求。您可以根据需要选择最适合您的存储解决方案。对象存储 对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务，尤其...
创建文件系统
当您想实现文件系统的共享访问时，您可以创建通用型NAS或极速型NAS文件系统，然后在多个计算节点中挂载使用。NAS文件系统支持在云上ECS、容器、FC、PAI等计算节点中挂载使用。同时，也支持本地数据中心挂载访问NAS。背景信息 通用型NAS文件...
日志转存
您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的存储空间（Bucket）。对于已存储的日志，您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。注意事项 如果生成日志的源Bucket有地域属性，...
日志转存
日志文件命名规则 转存后的日志文件命名规则如下：<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString 字段 说明 TargetPrefix 日志文件的文件名前缀。SourceBucket 产生访问日志的源Bucket名称。YYYY-mm-DD-HH-MM-SS 日志文件...
账单和用量查询
您可以通过查询文件存储NAS的账单，及时了解其收费明细，更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页...
由于日志文件过多导致集群存储空间被占满的解决办法
本文介绍了由于日志文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群由于Binlog文件、Redo日志或者Undo日志过多，占用了太多存储空间，且在空间分析中确认日志空间使用量较高。如下图所...
高级管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
logging（日志转存）
访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket。您可以通过 logging 命令开启、查询、关闭Bucket的日志转存配置。注意事项 要开启日志...
断点续传上传
同步的方式 以下代码以同步的方式断点续传上传examplefile.txt文件到目标存储空间examplebucket中exampledir目录下的exampleobject.txt文件，并将断点记录文件保存到本地。填写Bucket名称，例如examplebucket。String bucketName=...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
功能特性
数据管理 功能集 功能 功能描述 参考文档 存储类型 标准存储 提供高可靠、高可用、高性能的对象存储服务，面向温热数据，适合支持频繁的数据访问。标准存储 低频访问存储 提供高持久性、较低存储成本的对象存储服务。有最小计量单位（64 KB...
上传本地文件
物联网平台提供上传本地文件的功能，导入本地数据到物联网平台数据服务的自定义存储表，用于分析洞察、数据应用或作为IoT孪生引擎的数据源。本文介绍如何上传本地数据。前提条件 已购买物联网平台的企业版实例，具体操作，请参见 购买企业...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
在本地控制台上使用文件网关
如果文件写入后长时间不会修改，可以考虑使用标准类型或者低频类型的存储桶，然后以生命周期的方式修改文件的存储类型到归档类型或者冷归档类型，减少不必要的解冻动作，这种方案从成本以及效率的角度来看都更优于其他方案。已添加磁盘，...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
新购ECS时挂载NAS文件系统
挂载多个文件系统 如果要在新购买的ECS实例上同时挂载多个NAS文件系统，请您继续单击 添加文件存储 进行配置。并注意以下几点配置事项：挂载地址：所有的挂载地址必须属于同一个专有网络VPC。如果没有同属于一个VPC的挂载地址，可以为NAS...
数据加密
例如，深度学习样本文件的存储、在线协作类文档数据的存储。针对不同的应用场景，OSS有以下两种服务器端加密方式：使用KMS托管密钥进行加解密（SSE-KMS）上传文件时，可以使用默认KMS（Key Management Service）托管的CMK（Customer Master...
存储空间占用情况
OSS-HDFS 回收站 OSS-HDFS回收站中的文件未达到指定保存时间前，并没有从HDFS文件系统中彻底删除，仍然继续占用OSS部分存储容量。您可以通过hdfs du命令查看OSS-HDFS回收站空间占用情况。OSS-HDFS 服务内部使用 OSS-HDFS服务内部使用OSS...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
常见问题
当目标文件超过100 MB时，ossutil默认使用断点续传上传或下载目标文件，并将过程中生成的断点信息文件保存在.ossutil_checkpoint 文件夹中。上传、下载任务完成后，会自动删除这个文件夹。若单机运行超过一个ossutil实例，且都在进行上传或...
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
快照
如果您需要将某一时刻快照中的数据恢复至同可用区或跨可用区的现有文件系统中，建议您使用该时刻的快照创建新的文件系统，然后再将新文件系统中的数据拷贝至现有文件系统中。前提条件 文件系统必须处于 运行中 状态，否则无法创建快照。...
镜像回源配置示例
不匹配：由于计算MD5需要完整的文件数据，而此时文件已经透传回客户端，所以客户端能获取到文件，但OSS不会保存回源文件。单击 确定。以上规则配置完成后访问流程如下：请求者首次访问 ...
另存为
什么是另存为 同步处理默认不保存处理后的文件，您需要在处理请求内添加另存为参数，将处理后的文件作为对象(Object)保存到指定的存储空间(Bucket)内。异步处理由于是以任务形式对文件进行异步数据处理，请求返回时只会返回任务ID，所以...
身份管理
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问文件存储NAS。RAM用户 RAM用户需要由阿里云账号（即主账号）或拥有管理员权限的RAM用户、RAM角色来创建，且必须在获得授权后才能登录控制台或使用API访问阿里云账号下的资源。对于RAM...
create-symlink（创建软链接）
ossutil64 create-symlink oss:/examplebucket/test.jpg oss:/examplebucket/exampleobject.jpg 在开启请求者付费模式下，为目标存储空间examplebucket根目录下的test.jpg文件创建名为example.jpg的软链接文件，并将软链接文件保存至该...
媒体处理概述
您可以将原始视频上传保存到阿里云对象存储OSS上，通过OSS的RESTful数据处理接口 x-oss-async-process，在任何时间、任何地点、任何互联网设备上对视频进行视频转码等处理。使用场景 终端覆盖、网络适配 转换媒体分辨率和码率，适应不同...
- 产品推荐
- 这些文档可能帮助您