文件存储 HDFS 版和数据库MySQL双向数据迁移

本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...

应用场景

图片和音视频等应用的海量存储 OSS可用于图片、音视频、日志等海量文件存储。各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式。网页或者移动应用的静态和动态资源分离 利用海量...

转换Bucket的存储冗余类型

冷归档存储和深度冷归档存储的文件转换后依然为本地冗余存储。冷归档存储和深度冷归档存储的Bucket不支持转换存储冗余类型。RAM用户必须有以下权限:oss:CreateBucketDataRedundancyTransition、oss:GetBucketDataRedundancyTransition、...

什么是文件存储NAS

阿里云文件存储NAS(Apsara File Storage NAS)是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口,天然适配原生操作系统...

文件存储 HDFS 版上使用Apache Tez

本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不...

常见问题

本文介绍文件存储CPFS的用户咨询和关注的一些问题,帮助您快速了解CPFS。问题概览 产品咨询类 什么是文件存储CPFS?CPFS适用什么场景?CPFS的优势有哪些?如何开通服务,并创建文件存储CPFS文件系统?如何选择CPFS的性能规格?CPFS-POSIX...

设置生命周期策略

您可以基于最后一次访问时间的规则创建生命周期策略,定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型,从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用:根据您转储至低频存储中的文件大小、时长收取...

解冻文件

示例代码 以下代码用于解冻examplebucket中的exampleobject.txt文件,该文件存储类型可以是归档、冷归档或者深度冷归档类型。说明 使用示例解冻文件成功会返回202,此时需要等待一定的时间才能完成解冻,具体解冻规则可参考 ...

控制台快速入门

您可以单击 扫描文件 或 扫描文件夹 选择本地文件文件夹,或者直接拖拽目标文件文件夹到待上传文件区域。重要 使用拖拽方式上传文件夹时,OSS会保留文件夹内的所有文件和子文件夹。文件上传过程中,请勿刷新或关闭页面,否则上传任务会...

常见问题

重要 如遇各类问题,请联系 NAS技术支持 进行咨询。产品简介FAQ 什么是文件存储NAS?文件存储NAS支持哪些访问协议?如何选择NFS和SMB文件系统协议?每个账户可以创建多少个文件系统、文件系统有什么限制?更多产品简介常见问题 产品定价FAQ...

媒体处理概述

工作原理 离线转码:将视频文件上传到OSS存储空间,创建媒体处理任务,任务执行成功后,转码后的文件存储在OSS中。边转边播:将视频文件上传到OSS存储空间,创建边转边播播放列表,立即播放,对视频实时按需转码并存储在OSS中。处理参数 ...

转换文件存储类型

OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型,全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件(Object)的存储类型。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他...

创建CNFS管理NAS文件系统(推荐)

容器网络文件系统CNFS(Container Network File System)将阿里云的文件存储抽象为一个K8s对象(CRD)进行独立管理,包括创建、删除、描述、挂载、监控及扩容等运维操作。您可以通过CNFS创建一个新的NAS文件系统或管理已存在的NAS文件系统...

文件存储 HDFS 版和对象存储OSS双向数据迁移

本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...

服务器端加密

文件存储NAS支持服务器端加密功能。当您对文件存储有高安全性或者合规性要求时,建议您开启服务器端加密功能。开启该功能后,NAS会对存储文件系统中的数据进行加密,访问数据时,NAS自动将加密数据解密后返回给用户。本文介绍服务器端...

转换文件存储类型

OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型,全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件(Object)的存储类型。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他...

CreateBucketDataRedundancyTransition

冷归档存储和深度冷归档存储的文件转换后依然为本地冗余存储。冷归档存储和深度冷归档存储的Bucket不支持转换存储冗余类型。要创建存储冗余转换任务,您必须具有 oss:CreateBucketDataRedundancyTransition 权限。具体操作,请参见 为RAM...

常见问题

低频存储或标准存储的文件是否支持同步文件操作?低频存储或标准存储的文件支持同步文件操作。关于同步文件的更多信息,请参见 简介。如何设置不覆盖同名文件 在ossutil执行命令中增加-u 参数,则不会覆盖同名文件。使用-u参数上传文件时...

计费常见问题

本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后,就开始计费吗?文件存储 HDFS 版服务如何停止计费?删除存储数据后,为什么控制台显示的存储容量不变,账单没有减少?使用文件系统上传下载数据时,是否计费...

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

日志转存

日志前缀:日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。例如,日志前缀指定为 log/,则日志文件将被记录在 log/目录下。单击 保存。使用阿里...

上传文件配置

物联网平台支持设备将文件上传至您自己的OSS存储空间(Bucket),帮助您便捷地使用设备上传的文件。本文介绍设备文件上传至您自己OSS空间所需要的完整配置流程。前提条件 已在OSS中创建存储空间(Bucket)。具体操作,请参见 创建存储空间...

GetBucketInventory

GetBucketInventory 用于查看某个存储空间(Bucket)中指定的清单(Inventory)任务。注意事项 阿里云账号默认拥有查看Bucket指定清单任务的权限。如果您需要通过RAM用户或者STS的方式进行查看,您必须拥有 oss:GetBucketInventory 权限。...

数据导出到OSS概述

同步方式 说明 全量导出 将表格存储的全量数据一次性导出到OSS中备份或者使用。使用此同步方式时,只需执行一次离线同步任务即可,无需为离线同步任务配置调度属性。增量同步 将表格存储中新增和变化的数据定期同步到OSS中备份或者使用。...

GetRecycleBinAttribute-获取回收站的属性

查询指定通用型NAS文件系统的回收站配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句...

创建文件系统

文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前,您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作,请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...

文件管理

一个实例下,可存储的文件总大小不能超过1 GB。一个设备下,可存储的文件数量不能超过1,000个。设备端通过MQTT协议上传的单个文件大小不能超过16 MB。若单个文件大小大于16 MB,您可使用对象存储服务(OSS),将文件上传到您自己的OSS空间...

查看选项

可选参数为:Standard(默认值):标准存储 IA:低频访问存储 Archive:归档存储 关于存储类型的更多详情请参见 存储类型概述。public_bucket 指定用户通过匿名方式访问存储空间,该选项仅对ACL为public-read-write的存储空间有效。可选...

存储空间概述

✓ ✓ 图片处理 针对OSS内存储的图片文件(Object),您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。✓ ✓ 视频截帧 OSS支持截取视频指定时间的内容。✓ ✓ 智能媒体管理IMM OSS与智能媒体...

存储类型概述

例如企业重要文件、敏感信息等。较低访问频率(平均每月访问频率1到2次)的业务场景。例如热备数据、监控视频数据等。较低访问频率(平均每月访问频率1到2次),且对持久性和可用性有更高要求的业务场景。例如企业业务数据、近期的医疗档案...

批处理

使用批处理对存储空间(Bucket)中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...

退款说明

本文介绍文件存储NAS资源的退款说明与退订规则,并介绍 资源包实例和 包年包月极速型NAS实例的退订流程。概述 根据不同计费方式,NAS资源支持的退款情况如下。计费方式 退款说明 退款方式 资源包 NAS支持自助退订资源包实例,并基于退订...

使用NAS存储SD模型库并挂载NAS到PAI-EAS加载推理

阿里云文件存储NAS是一种分布式的网络文件存储,为ECS、HPC、Docker、BatchCompute等提供安全、无限容量、高性能、高可靠、简单易用的文件存储服务。阿里云NAS支持与阿里云模型在线服务PAI-EAS无缝集成。这使您的模型服务可以像访问本地...

触发器

使用触发器可以对存储空间(Bucket)中的增量文件进行批量处理。例如将Bucket某个目录中新增的后缀为.docx的文件转换成.pdf格式、将新增的.mov格式的文件转码为.mp4等。和批处理的不同的是,触发器只会对创建触发器之后OSS内新增的文件进行...

变量

在使用数据处理功能的批处理或触发器功能时,每个Object都会触发一个任务,任务中需要指定处理后的文件保存的输出路径,如果多个任务输出路径是同一个路径,则会产生文件覆盖,因此需要保证输出路径为动态路径,所以引入变量。此外,您可以...

对象存储OSS

OSS没有文件夹的概念,所有元素都是以文件存储,但是您可以通过创建以正斜线(/)结尾的文件名(如folder1/folder2/file)来模拟文件夹。开发者一般使用工具或封装了API接口的SDK来开发应用。OSS目前提供包括Java、Python、PHP、Go、...

快速入门(FC)

NAS与函数计算无缝集成,您可以在函数计算的服务、应用上配置NAS,实时存储训练中的数据,也可以通过函数计算中的应用部署NAS浏览器,实现可视化管理NAS文件系统上的文件,包括上传文件/文件夹、下载文件/文件夹、增删改查等。本文介绍如何...

冷热分层存储

并不是所有OSS-HDFS中存储的数据都需要频繁访问,但基于数据合规或者存档等原因,部分数据仍然需要继续保存。针对以上问题,OSS-HDFS服务支持数据的冷热分层存储,对于经常需要访问的数据以标准类型进行存储,对于较少访问的数据以低频、...

转换文件存储类型

OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型,全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何通过CopyObject接口将文件(Object)转换为指定的存储类型。注意事项 关于存储类型的更多信息,请参见 存储类型概述...

什么是文件存储CPFS

在保持海量数据在OSS中低成本存储的同时,获得高性能文件访问能力。CPFS文件系统应用于AI训练、自动驾驶、基因计算、影视渲染、石油勘探、气象分析、EDA仿真等场景,适用于高吞吐、高IOPS、海量文件的IO密集型业务。关于CPFS文件系统实例...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库文件存储 文件存储 CPFS 对象存储 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用