应用场景

文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上,这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算,也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存

文件存储HDFS版

文件存储HDFS版(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。您可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据那样使用文件存储HDFS版。您无需对现有大...

CPFS并行文件存储

CPFS并行文件存储 提供高性能计算文件存储,支持标准的POSIX和MPI-IO协议,自带的高性能计算程序无需任何接口适配和性能优化即可高效执行,满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...

使用Fuse-DFS挂载文件存储 HDFS 版

本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

安装ossutil

下载地址 下载地址 SHA256校验和 Linux x86 32bit f8a4a7e1df8529b06a3f3cca194a1c99163cb3b8ab3b5d64228c207c3ae63b86 Linux x86 64bit dcc512e4a893e16bbee63bc769339d8e56b21744fd83c8212a9d8baf28767343 Linux ARM 32bit ffe8b479e5fd...

文件存储 HDFS 版和对象存储OSS双向数据迁移

本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...

文件存储

本文为您介绍 PolarDB PostgreSQL版(兼容Oracle)的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中;只读节点的CLOG文件会在各自...

账单和用量查询

您可以通过查询文件存储NAS的账单,及时了解其收费明细,更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏,选择 账单管理>账单详情。在 明细账单 页...

配置CDH6使用文件存储 HDFS 版

数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...

阿里云存储服务

文件存储 阿里云文件存储NAS(Apsara File Storage)是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统,支持NFS和SMB协议。NAS提供极速型、通用性能型、...

数据安全

可用性说明 对象存储 OSS 数据备份和容灾 文件存储 NAS 备份和恢复文件 云原生大数据计算服务 MaxCompute 备份与恢复 同时PAI EasyCkpt是PAI为PyTorch大模型训练场景而开发的高性能Checkpoint框架,通过实现接近零开销的模型保存机制,...

生命周期管理FAQ

为了方便您选择生命周期管理策略和需配置的目录,阿里云文件存储NAS提供了NAS分层策略分析工具。您可以使用该工具设置的生命周期管理策略,对指定目录及该目录下的子目录进行扫描并按照冷数据量降序排序,将指定目录中冷数据量最高的几个子...

创建文件系统

前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时,按照页面引导开通服务。重要 在开通页面购买的产品为NAS资源包,并不是NAS文件系统。NAS资源包仅用于抵扣NAS文件系统存储容量费用。更多信息,请参见 资源包概述。...

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

身份管理

推荐的做法是使用RAM身份(即RAM用户和RAM角色)来访问文件存储NAS。RAM用户 RAM用户需要由阿里云账号(即主账号)或拥有管理员权限的RAM用户、RAM角色来创建,且必须在获得授权后才能登录控制台或使用API访问阿里云账号下的资源。对于RAM...

logging(日志转存)

prefix 日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。重要 生成日志的源Bucket和存储日志的目标Bucket可以相同也可以不同,但是必须位于同一...

迁移数据至阿里云NAS

配置数据传输中转节点后,您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作,请参见 配置数据传输中转节点。使用SFTP客户...

存储空间占用情况

OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据,这些数据均存储于Bucket中的.dlsdata/路径下,并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...

create-symlink(创建软链接)

ossutil64 create-symlink oss:/examplebucket/test.jpg oss:/examplebucket/exampleobject.jpg 在开启请求者付费模式下,为目标存储空间examplebucket根目录下的test.jpg文件创建名为example.jpg的软链接文件,并将软链接文件保存至该...

断点续传上传

同步的方式 以下代码以同步的方式断点续传上传examplefile.txt文件到目标存储空间examplebucket中exampledir目录下的exampleobject.txt文件,并将断点记录文件保存到本地。填写Bucket名称,例如examplebucket。String bucketName=...

数据流动概述

文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后,CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...

日志转存

日志前缀:日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。例如,日志前缀指定为 log/,则日志文件将被记录在 log/目录下。单击 保存。使用阿里...

媒体处理概述

工作原理 将视频文件上传到OSS存储空间,创建媒体处理任务,任务执行成功后,转码后的文件存储在OSS中。处理参数 OSS支持直接使用一个或多个参数处理视频等媒体文件,也支持将多个参数封装在一个样式中批量处理视频等媒体文件。关于样式的...

在本地控制台上使用文件网关

步骤一:添加缓存 文件存储网关的每个共享目录都对应唯一一个缓存盘,创建多个共享目录则需要创建多个缓存盘。您可以将共享目录下的数据通过缓存盘传至阿里云OSS,也可以通过缓存盘将阿里云OSS数据同步到本地。在浏览器中,输入 https://<...

使用NAS实现共享存储和持久化存储-Flexvolume

已在文件存储控制台创建一个文件系统,请参见 Linux系统挂载NFS协议文件系统。创建的文件系统需要与您的Kubernetes集群在同一可用区。已在创建好的文件系统中添加容器服务Kubernetes集群的挂载点,请参见 管理挂载点。文件系统挂载时的VPC...

基础管理FAQ

文件存储服务默认使用AliyunNASManageENIRole角色来访问您在其他云产品中的资源。解决方案:登录 NAS控制台。在 概览 页面的 常用入口 区域,单击 授权管理。在 极速型和CPFS默认服务授权 卡片,单击 前往授权。在 云资源访问授权 页面,...

消息通知

使用处理参数处理文档转换并接收MNS消息通知 转换信息 转换前 文件类型:DOCX 文件名称:example.docx 转换后 文件类型:PNG 文件存储路径:oss:/test-bucket/doc_images/消息通知 将转换结果通知发送到主题名称为 test-topic 的MNS。...

cp(拷贝文件

examplebucket2/desfolder/-include"*abc*"-exclude"*.jpg"-exclude"*.txt"-r 修改文件存储类型 您可以在 覆写 文件时,添加-meta 选项来修改文件存储类型。存储类型可选值为:Standard:标准存储 说明 在OSS ON云盒使用场景中,仅支持...

数据加密

适合于对于文件存储有高安全性或者合规性要求的应用场景。例如,深度学习样本文件的存储、在线协作类文档数据的存储。针对不同的应用场景,OSS有以下两种服务器端加密方式:使用KMS托管密钥进行加解密(SSE-KMS)上传文件时,可以使用默认...

快照

目前,快照功能免费公测中,公测期间不保障 文件存储NAS服务等级协议(SLA)。注意事项 一个文件系统最多支持手动创建128个快照实例和自动创建128个快照实例。如果文件系统存在创建中的快照,您无法为该文件系统再次创建快照。如果创建快照...

定时备份

为了避免因误删除、误修改、误覆盖操作等情况引起的数据丢失或受损,您可以通过 云备份 对存储空间(Bucket)内的文件(Object)进行定期备份。当您的Object意外丢失时,可通过云备份进行恢复。云备份 对支持配置灵活备份策略,将数据备份...

样式

创建样式 说明 一个存储空间(Bucket)最多可创建50个样式,这些样式仅支持作用于该Bucket下的文件。如您的业务有更多样式的需求,请联系 技术支持。登录 OSS管理控制台。在左侧导航栏,单击 Bucket列表,然后单击目标Bucket名称。在左侧...

变量

变量 说明 示例值 bucket 原始文件存储空间(Bucket)名称。test-bucket key 原始文件保存在存储空间中的资源名。重要 使用该变量时请避免将输出文件和输入文件设置为相同文件,否则会覆盖源文件或在批处理时循环触发。path1/path2/name....

功能特性

OSS支持以下功能特性:场景分类 应用场景 场景说明 参考文档 存储空间管理 创建存储空间 在上传文件(Object)到OSS之前,您需要创建一个用于存储文件存储空间(Bucket)。存储空间具有各种配置属性,包括地域、访问权限、存储类型等。您...

快速入门(CPFS-POSIX)

首次登录 文件存储控制台 时,根据页面引导开通CPFS服务。已创建一个ECS实例,且为CPFS-POSIX客户端支持的操作系统。更多信息,请参见 创建ECS实例。单击查看POSIX客户端支持的操作系统 操作系统类型 发行版 内核版本 Alibaba Cloud Linux ...

物联网存储介绍

基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求,表格存储推出了一站式物联网存储IoTstore解决方案,为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...

什么是对象存储OSS

其他阿里云存储服务 除了对象存储以外,阿里云还提供文件存储、块存储等类型的存储服务,满足您不同场景下的业务需求。更多信息,请参见 阿里云存储服务介绍 和 阿里云存储产品文档。关于阿里云存储服务的客户案例、解决方案等,请参见 ...

上传本地文件

物联网平台提供上传本地文件的功能,导入本地数据到物联网平台数据服务的自定义存储表,用于分析洞察、数据应用或作为IoT孪生引擎的数据源。本文介绍如何上传本地数据。前提条件 已购买物联网平台的企业版实例,具体操作,请参见 购买企业...

restore(解冻文件

更多信息,请参见 修改文件存储类型。解冻归档类型Object时,也可以在本地创建XML格式文件 config.xml,并在文件中配置解冻天数参数。Days>3</Days></RestoreRequest>解冻单个归档类型Object 以下示例用于解冻目标存储...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 文件存储HDFS版 数据库文件存储 对象存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用