如何存储函数程序产生的较大文件？
如果需要在磁盘中存储较大文件，例如，超过500 MB的文件，您可以按照以下方式处理：直接在 函数计算控制台，...函数计算 为您提供临时文件存储目录/tmp，您还可以使用 文件存储 NAS 持久化存储您的文件。使用流式方式处理数据，减小内存消耗。
如何存储函数程序产生的较大文件？
如果需要在磁盘中存储较大文件，例如，超过500 MB的文件，您可以按照以下方式处理：使用性能实例，当前性能实例...函数计算 为您提供临时文件存储目录/tmp，您还可以使用文件存储NAS持久化存储您的文件。使用流式方式处理数据，减小内存消耗。
函数存储选型
可以将临时文件存储到NAS中，临时文件大小不受实例本地磁盘空间限制。多个函数可以共用一个NAS，实现文件共享。具体操作，请参见 配置NAS文件系统。对象存储OSS 对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的...
函数存储选型
可以将临时文件存储到NAS中，临时文件大小不受实例本地磁盘空间限制。多个函数可以共用一个NAS，实现文件共享。具体操作，请参见 配置NAS文件系统。对象存储OSS 对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的...
配置存储地址
通过OpenAPI配置存储地址 调用接口 SetDefaultStorageLocation，通过参数 StorageType 设置默认存储地址或剪辑临时文件存储地址。API参考 SetDefaultStorageLocation-设置默认存储位置 GetDefaultStorageLocation-获取默认存储位置
临时存储费用
冷归档或者深度冷归档存储类型文件（Object）在数据解冻时会生成一份标准存储类型的文件副本用于访问，文件副本在解冻时间结束前会收取临时存储费用。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。...
文件存储NAS
阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。文件存储NAS 目前提供极速型、通用性能型...
SetDefaultStorageLocation-设置默认存储位置
默认存储地址用于ICE在线编辑器及集成webSDK使用时，剪辑过程产生的临时文件存储，如智能配置生成的音频文件等；设置默认存储地址，可避免在编辑过程中申请填写各类临时资源的存储路径时，对使用者造成困扰；如果通过API接入ICE剪辑能力，...
使用CNFS管理NAS隔离存储卷（推荐）
前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时，按照页面引导开通服务。已创建Kubernetes集群，Kubernetes版本为v1.20及以上，且存储插件选择为CSI。具体操作，请参见 创建Kubernetes托管版集群。CSI-Plugin和CSI-...
使用CNFS管理NAS共享存储卷（推荐）
前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时，按照页面引导开通服务。已创建Kubernetes集群，Kubernetes版本为v1.20及以上，且存储插件选择为CSI。具体操作，请参见 创建Kubernetes托管版集群。CSI-Plugin和CSI-...
由于临时文件过多导致集群存储空间被占满的解决办法
本文介绍了由于临时文件过多导致存储空间被占满的问题描述、解决方案以及后续维护等内容。问题描述 PolarDB MySQL版 集群可能会由于查询语句的排序、分组、关联表产生临时表文件，或大事务未提交前产生Binlog cache文件，从而出现本地空间...
安装virtio驱动
将virtio驱动添加到临时文件系统 安装virtio驱动 检查服务器内核是否支持virtio驱动 运行以下命令，检查当前操作系统内核是否支持virtio驱动，以判断是否需要为自定义镜像安装virtio驱动或将virtio驱动添加到临时文件系统。grep-i virtio/...
使用CNFS管理NAS隔离存储卷（推荐）
前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时，按照页面引导开通服务。已创建Kubernetes集群，Kubernetes版本为v1.20及以上，且存储插件选择为CSI。具体操作，请参见 创建Kubernetes托管版集群。CSI-Plugin和CSI-...
使用CNFS管理NAS共享存储卷（推荐）
前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时，按照页面引导开通服务。已创建Kubernetes集群，Kubernetes版本为v1.20及以上，且存储插件选择为CSI。具体操作，请参见 创建Kubernetes托管版集群。CSI-Plugin和CSI-...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
IO加速
针对临时表和查询产生的临时文件，RDS PostgreSQL的IO加速能力允许将这些临时数据存储到高速的缓存介质中，使得数据库引擎对这些临时数据的读写IO更快，大大加快查询的处理，在复杂查询场景下可提高100%查询性能。价值效益 RDS PostgreSQL...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
集成OSS应用示例
为了保证数据或文件的不变性，我们提供了一个应用示例程序，将文件存储在OSS上，并在Hyperledger Fabric上记录文件的哈希值。该示例程序基于Hyperledger Fabric Go SDK，运行示例程序前请确保Go开发环境已经正确配置。具体配置方法可以参考...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
卸载并释放CDH6 HDFS服务使用的云盘
背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH HDFS服务的云盘，降低集群的拥有成本。重要 从数据安全性考虑，数据迁移后建议进行数据完整性...
卸载并释放E-MapReduce HDFS使用的云盘
背景信息 当E-MapReduce已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建E-MapReduce HDFS服务的云盘，降低集群的拥有成本。重要 从数据安全性考虑，数据迁移后...
监控与日志
监控与日志可有效保障您文件存储NAS资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和业务运行...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
账单和用量查询
您可以通过查询文件存储NAS的账单，及时了解其收费明细，更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页...
基本概念
本文介绍了文件存储NAS相关基本概念，以便于您更好的理解和使用NAS。文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
使用平台提供的临时存储空间
根据相关信息，最终拼接得到临时存储空间的URL为：oss:/dashscope-instant/0887/2024-04-15/8bd2/hand.jpg 使用该链接进行模型调用，调用请求示例如下：重要 使用平台临时存储空间上的文件进行模型调用的时候，务必在请求的header中添加...
增加临时存储空间大小
ECI Pod（即ECI实例）默认提供30 GiB的免费的临时存储空间，如果该存储空间大小无法满足您的需求，您可以自定义增加临时存储空间大小。背景信息 每个ECI实例默认提供30 GiB的临时存储空间（免费），如下图所示。重要 ECI实例启动所使用的...
生命周期管理FAQ
为了方便您选择生命周期管理策略和需配置的目录，阿里云文件存储NAS提供了NAS分层策略分析工具。您可以使用该工具设置的生命周期管理策略，对指定目录及该目录下的子目录进行扫描并按照冷数据量降序排序，将指定目录中冷数据量最高的几个子...
文件存储
本文为您介绍 PolarDB PostgreSQL版（兼容Oracle）的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中；只读节点的CLOG文件会在各自...
文件系统存储类型
标准存储：提供高可靠、高可用、高性能的文件存储服务，适用于存储频繁访问的热数据。在创建文件系统后，文件系统数据首先存储在标准存储中，然后才能使用生命周期策略将数据转储至低频存储或归档存储。更多关于通用型NAS标准存储的信息，...
数据安全
可用性说明 对象存储 OSS 数据备份和容灾 文件存储 NAS 备份和恢复文件 云原生大数据计算服务 MaxCompute 备份与恢复 同时PAI EasyCkpt是PAI为PyTorch大模型训练场景而开发的高性能Checkpoint框架，通过实现接近零开销的模型保存机制，...
安装表格存储Java SDK
安装 表格存储 Java SDK后，即可在编写代码时调用 表格存储 SDK的接口。本文介绍如何安装 表格存储 Java SDK。环境准备 安装 表格存储 Java SDK需使用JDK 6及以上版本。已安装Java开发工具，例如IntelliJ IDEA、Eclipse等。安装方式 重要 ...
logstash-output-oss插件使用说明
如果您对输出数据保存的路径有要求，可以设置该临时文件路径。临时文件路径示例如下。ssd/1/实例ID>/logstash/data/eaced620-e972-0136-2a14-02b7449b*/logstash/1/ls.oss.eaced620-e972-0136-2a14-02b7449b*.2018-12-24T14.27.part-0.data...
创建文件系统
前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时，按照页面引导开通服务。重要 在开通页面购买的产品为NAS资源包，并不是NAS文件系统。NAS资源包仅用于抵扣NAS文件系统存储容量费用。更多信息，请参见 资源包概述。...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
下载到本地文件
本文介绍如何将存储空间（Bucket）中的文件（Object）下载到本地文件。示例代码 以下代码用于将examplebucket中的exampleobject.txt文件下载到本地 D:\localpath 路径下的examplefile.txt。const OSS=require('ali-oss');const client=new ...
下载到本地文件
本文介绍如何将存储空间（Bucket）中的文件（Object）下载到本地文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系...
流式下载
如果未指定本地路径，则下载后的文件默认保存到示例程序所属项目对应本地路径中。const writeStream=fs.createWriteStream('D:\\localpath\\examplefile.txt');result.stream.pipe(writeStream);} catch(e){ console.log(e);} } getStream...
- 产品推荐
- 这些文档可能帮助您