迁移开源HDFS的数据到文件存储 HDFS 版

基于阿里云ECS搭建Hadoop集群(下称"迁移集群"),用于访问 文件存储 HDFS 版 实例和迁移数据,并满足以下条件:迁移集群 文件存储 HDFS 版 实例在相同区域、相同可用区。迁移集群 文件存储 HDFS 版 实例的挂载点使用相同阿里云VPC网络...

函数存储选型

阿里云 函数计算 支持与文件存储NAS无缝集成。您可以在函数上配置NAS,包括NAS的地域、挂载点、分组等信息。配置成功后,函数就可以像访问本地文件系统一样访问指定的NAS文件系统。使用NAS作为 函数计算 的挂载点的优势如下。可以将临时...

使用云企业网跨VPC访问文件存储 HDFS 版

以下内容为您展示如何测试ECS与文件存储HDFS版文件系统之间的连通性。登录VPC2的ECS实例。具体操作,请参见 ECS远程连接操作指南。验证ECS和 文件存储 HDFS 版 之间的连通性。ping f-xxxxxx....

配置CDH6使用文件存储 HDFS 版

数据迁移完成后,您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务,才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令,将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...

如何选用NAS、OSS和EBS?

本文介绍文件存储NAS对象存储OSS、块存储EBS的区别和部署架构,帮助您更好地选用合适的阿里云存储服务。产品对照表 文件存储NAS、对象存储OSS和块存储EBS的主要区别如下表所示。对比项 文件存储NAS 对象存储OSS 块存储EBS 特点 原有使用...

迁移说明

使用在线迁移服务,您无需部署迁移工具,就可以轻松实现对象存储OSS与文件存储NAS之间的数据迁移。具体操作,请参见 使用在线迁移服务迁移。NAS文件系统之间的数据迁移 对于NAS文件系统之间的数据迁移,NAS推荐使用以下方式进行迁移。说明 ...

基本概念

本文介绍了文件存储NAS相关基本概念,以便于您更好的理解和使用NAS。文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改...

功能特性

CPFS存储规格 企业级能力 功能集 功能 功能描述 参考文档 存储空间管理 数据流动 文件存储CPFS对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。CPFS数据流动 CPFS智算版数据流动 全局命名空间 全局...

什么是文件存储CPFS

文件存储CPFS(Cloud Parallel File Storage)是阿里云推出的全托管、可扩展并行文件系统,满足高性能计算场景的需求。CPFS提供了统一的命名空间,支持成百上千的机器同时访问,拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...

数据安全

可用性说明 对象存储 OSS 数据备份和容灾 文件存储 NAS 备份和恢复文件 云原生大数据计算服务 MaxCompute 备份恢复 同时PAI EasyCkpt是PAI为PyTorch大模型训练场景而开发的高性能Checkpoint框架,通过实现接近零开销的模型保存机制,...

CPFS并行文件存储

CPFS并行文件存储 提供高性能计算文件存储,支持标准的POSIX和MPI-IO协议,自带的高性能计算程序无需任何接口适配和性能优化即可高效执行,满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...

数据流动概述

文件存储CPFS对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset OSS Bucket创建数据流动后,CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...

入门概述

通过NFSv3协议访问CPFS文件系统 协议服务 在服务器中卸载挂载的文件系统 卸载文件系统 删除文件系统 删除文件系统 对象存储OSS之间实现数据流动 数据流动 监测文件的使用量 数据监控 备份文件系统中的数据 文件存储CPFS(NFS协议)备份 ...

文件存储

本文为您介绍 PolarDB PostgreSQL版(兼容Oracle)的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中;只读节点的CLOG文件会在各自...

计费概述

文件存储NAS 文件备份费用 文件存储NAS支持云备份(Cloud Backup)服务无缝集成。您可以在NAS控制台定期备份NAS文件,并在数据丢失或受损时及时恢复文件。首次使用NAS文件系统的文件备份功能时,您可以免费试用30天,试用期结束后,您...

监控日志

在云监控服务的 云产品监控 页面,选择 存储与CDN>文件存储NAS 可查看文件系统实例的性能和容量等监控数据。通过云监控SDK查看 通过云监控API支持对文件存储NAS的文件系统实例进行数据监控。您可以通过OpenAPI直接调用云监控的 ...

文件存储NAS

阿里云文件存储NAS(Apsara File Storage)是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统,支持NFS和SMB协议。文件存储NAS 目前提供极速型、通用性能型...

什么是文件存储NAS

阿里云文件存储NAS(Apsara File Storage NAS)是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口,天然适配原生操作系统...

常见问题

本文介绍文件存储CPFS的用户咨询和关注的一些问题,帮助您快速了解CPFS。问题概览 产品咨询类 什么是文件存储CPFS?CPFS适用什么场景?CPFS的优势有哪些?如何开通服务,并创建文件存储CPFS文件系统?如何选择CPFS的性能规格?CPFS-POSIX...

配置E-MapReduce服务使用文件存储 HDFS 版

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作,请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面,...

聊天中的文件如何查找/删除?

概述 本文介绍聊天文件查找/删除方法。详细信息 当您在聊天或者在群里聊天的过程中,传输的文件会自动帮您储存:手机客户端:【聊天页面】-右上角【人形】图标进入群设置,点击【文件】可看到之前传输过的文件;电脑客户端:【聊天页面】-...

快速入门(CPFS-NFS)(推荐)

交换机 选择与文件系统相同VPC网络下创建的交换机。协议导出 单击(推荐)Fileset,选择 步骤二:创建Fileset 创建的Fileset。导出VPC网络 选择与ECS实例相同的VPC。导出交换机 选择与ECS实例相同的交换机,协议集群通过该vSwitch将协议...

在云桌面内挂载CPFS文件系统

背景信息 文件存储CPFS(Cloud Paralleled File System)是阿里云推出的全托管、可扩展并行文件系统,满足AI训练、自动驾驶、工业仿真等高性能计算场景的需求。更多信息,请参见 什么是文件存储CPFS。文件存储CPFS提供NFS协议服务,通过...

NAS存储卷概述(ASK)

它提供了简单的可扩展文件存储以供ECS配合使用,多个ECS实例可以同时访问NAS文件系统,并且存储容量会随着您添加和删除文件而自动弹性增长和收缩,为在多个实例或服务器上运行产生的工作负载和应用程序提供通用数据源。存储规格 NAS提供...

存储空间占用情况

OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据,这些数据均存储于Bucket中的.dlsdata/路径下,并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...

logging(日志转存)

prefix 日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。重要 生成日志的源Bucket和存储日志的目标Bucket可以相同也可以不同,但是必须位于同一...

查看NAS容量监控

文件存储NAS已云监控无缝集成。通过容量监控功能,您可以实时查看通用型NAS存储空间中通用型NAS数据量和低频介质数据量以及低频读写数据流量和文件数。本文介绍如何查看通用型NAS的容量监控数据。前提条件 已创建NAS文件系统。具体操作,...

生命周期管理FAQ

为了方便您选择生命周期管理策略和需配置的目录,阿里云文件存储NAS提供了NAS分层策略分析工具。您可以使用该工具设置的生命周期管理策略,对指定目录及该目录下的子目录进行扫描并按照冷数据量降序排序,将指定目录中冷数据量最高的几个子...

函数计算挂载文件系统

文件存储NAS支持函数计算无缝集成。通过在函数计算配置NAS文件系统,函数能够以类似于访问本地文件系统的方式操作NAS文件,实现文件持久化存储。该方式不仅可以消除本地磁盘空间的限制,还允许不同的函数实例共享文件数据。本文介绍如何...

CreateSnapshot-创建快照

接口说明 该功能免费公测中,公测期间不保障 文件存储 NAS 服务等级协议(SLA)。仅极速型 NAS 高级型支持创建快照。一个文件系统最多支持创建 128 份快照。文件系统挂载的实例必须处于正常状态,否则无法创建快照。如果创建快照还未完成,...

变量

变量 说明 示例值 bucket 原始文件存储空间(Bucket)名称。test-bucket key 原始文件保存在存储空间中的资源名。重要 使用该变量时请避免将输出文件和输入文件设置为相同文件,否则会覆盖源文件或在批处理时循环触发。path1/path2/name....

NAS存储卷概述

它提供了简单的可扩展文件存储以供ECS配合使用,多个ECS实例可以同时访问NAS文件系统,并且存储容量会随着您添加和删除文件而自动弹性增长和收缩,为在多个实例或服务器上运行产生的工作负载和应用程序提供通用数据源。存储规格 NAS提供...

基础管理FAQ

文件存储服务默认使用AliyunNASManageENIRole角色来访问您在其他云产品中的资源。解决方案:登录 NAS控制台。在 概览 页面的 常用入口 区域,单击 授权管理。在 极速型和CPFS默认服务授权 卡片,单击 前往授权。在 云资源访问授权 页面,...

查看NAS性能监控

文件存储 NAS 已云监控无缝集成。通过性能监控功能,您可以实时查看文件系统的IOPS、吞吐、延迟等性能概况。本文介绍如何查看 NAS 文件系统的性能监控数据。前提条件 已创建 NAS 文件系统。具体操作,请参见 创建文件系统。已开通云监控...

管理数据流动任务

本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作,请参见 创建Fileset。已创建数据流动。具体操作,请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作,可分为...

媒体处理概述

工作原理 离线转码:将视频文件上传到OSS存储空间,创建媒体处理任务,任务执行成功后,转码后的文件存储在OSS中。边转边播:将视频文件上传到OSS存储空间,创建边转边播播放列表,立即播放,对视频实时按需转码并存储在OSS中。处理参数 ...

挂载访问FAQ

挂载CPFS文件系统时,如果返回如下报错信息,表示待挂载ECS实例与文件系统之间网络不通。start check ssh try ssh root@a.b.c.d by/root/.ssh/id_rsa.pub ssh:connect to host a.b.c.d port 22:Connection timed out 请筛查以下可能原因并...

ModifyAutoSnapshotPolicy-修改自动快照策略

接口说明 该功能免费公测中,公测期间不保障 文件存储 NAS 服务等级协议(SLA)。仅极速型 NAS 高级型支持该功能。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK...

快照

目前,快照功能免费公测中,公测期间不保障 文件存储NAS服务等级协议(SLA)。注意事项 一个文件系统最多支持手动创建128个快照实例和自动创建128个快照实例。如果文件系统存在创建中的快照,您无法为该文件系统再次创建快照。如果创建快照...

OSS和NAS之间的数据迁移

本文介绍如何通过ossutil工具或在线迁移服务实现阿里云对象存储OSS和文件存储NAS之间的数据双向迁移。费用说明 使用ossutil工具迁移 ossutil工具本身不收取费用,但是由于迁移数据时涉及到API请求,所以会产生一定的API请求费用。OSS数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 数据库文件存储 文件存储HDFS版 对象存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用