确认不再使用 文件存储 HDFS 版 文件系统后,您需要参考 挂载文件系统 中的内容,删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置,完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
升级存储包 当文件系统已绑定的存储包容量不满足您的业务需求时,建议您购买 资源包,相比于存储包,资源包无需绑定文件系统,即可抵扣多个通用型NAS文件系统的存储容量且支持叠加使用。如果您要继续使用更高规格的存储包,请执行以下步骤...
创建文件存储CPFS文件系统时的配置容量即为您能使用的最大容量,当数据写满后,将导致数据无法写入。为了防止因为数据无法写入影响业务使用,建议您在数据写满前扩容当前文件存储CPFS文件系统的配置容量。本文介绍如何扩容文件存储CPFS文件...
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...
步骤三:挂载文件系统 在使用文件系统前,您还需要通过挂载点挂载 文件存储 HDFS 版 文件系统。连接ECS实例。连接方式,请参见 连接ECS实例。配置core-site.xml。执行如下命令打开 core-site.xml 文件。vim${HADOOP_HOME}/etc/hadoop/core-...
方式二:如果UDF依赖多个JAR包,且不想打成一个包,可以将UDF的所有JAR包上传到同一个目录下(例如,udfdir),再将该目录完整上传到文件系统中。重要 目录名不可与现有连接器或UDF重名。目录下尽量不要有无关内容。目录需要配置权限。步骤...
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前,您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作,请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块,提供了使用FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不包含Fuse-DFS的功能模块,如需使用该功能需要手动编译该功能模块并添加到...
如果现有SDK不能满足使用需求,可通过签名机制进行自签名对接。由于自签名细节非常复杂,需花费 5个工作日左右。因此建议加入我们的服务钉钉群(11370001915),在专家指导下进行签名对接。在使用API前,您需要准备好身份账号及访问密钥...
通常情况下,当您要访问NAS文件系统数据时,需要先创建NAS文件系统并完成挂载操作。本文介绍如何在NAS控制台创建通用型NAS NFS文件系统,并使用控制台一键挂载功能将NFS文件系统挂载至ECS实例(CentOS 7.9)上,从而实现数据上传与下载。...
通过容量监控功能,您可以实时查看CPFS文件系统的存储空间使用状况和文件数信息。本文介绍如何查看CPFS文件系统的容量监控数据。前提条件 已开通云监控服务。您可以登录 云监控产品详情页,根据页面提示开通服务。已创建文件系统。具体操作...
本文介绍OSS与文件系统在数据模型、数据获取等方面的差异对比以及概念对应关系。差异对比 下表为OSS与文件系统在数据模型、数据获取、优势以及劣势的差异对比。对比项 OSS 文件系统 数据模型 OSS是一个分布式的对象存储服务,提供的是一个...
重要 不同存储类型的文件系统不能相互转换,更多有关文件系统的使用限制,请参见 使用限制。NAS的存储类型、存储规格支持相互转换吗?不支持相互转换。但您可以参照以下操作,重新购买一个目标文件系统,将旧文件系统中的数据迁移至新文件...
当您想实现文件系统的共享访问时,您可以创建通用型NAS或极速型NAS文件系统,然后在多个计算节点中挂载使用。NAS文件系统支持在云上ECS、容器、FC、PAI等计算节点中挂载使用。同时,也支持本地数据中心挂载访问NAS。背景信息 通用型NAS文件...
重要 文件系统与待挂载的云服务器ECS实例必须在同一地域,不同地域的CPFS文件系统与云服务器ECS不能互通。可用区 可用区是指在同一地域内,电力和网络互相独立的物理区域。同一地域不同可用区之间的文件系统与云服务器ECS互通。建议和...
文件系统不支持版本转换,建议您使用迁移服务将数据迁移到版本2的文件系统,详情请参见 NAS文件系统之间的数据迁移。正在创建快照的文件系统不能扩容。由于文件系统扩容时会自动对数据进行快照保护,所以正在创建快照的文件系统不支持扩容...
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时,可以开启通用型NAS生命周期管理功能,符合生命周期管理策略的文件将自动转储至低频存储或归档存储,采用低频存储计费方式,从而降低存储成本。为什么我的文件系统不支持生命...
文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改应用程序,即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所...
阿里云文件存储NAS推出的生命周期管理功能,可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中,并采用低频存储或归档存储计费方式,从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时,可以开启通用型NAS生命周期管理功能,符合生命周期管理策略的文件将自动转储至低频存储或归档存储,采用低频存储计费方式,从而降低存储成本。为什么我的文件系统不支持生命...
容器网络文件系统CNFS(Container Network File System)将阿里云的文件存储抽象为一个K8s对象(CRD)进行独立管理,包括创建、删除、描述、挂载、监控及扩容等运维操作,为了提升NAS文件系统的性能,您可以通过CNFS(Container Network ...
据统计分析,大部分用户文件系统中80%的数据均为冷数据,按80/20定律进行成本估算,使用低频存储后,原性能型NAS文件系统的有效存储成本可降低至0.49元/月/GiB,原容量型NAS文件系统的有效存储成本可降低至0.19元/GiB/月。购买了资源包什么...
文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二:授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统实例ID,请根据实际值...
说明 由于TensorFlow对文件系统的schema有特别的指定,因此在 文件存储 HDFS 版 上使用TensorFlow时需要修改TensorFlow源码。具体操作,请参见 配置TensorFlow支持文件存储 HDFS 版。配置TensorFlow支持 文件存储 HDFS 版 在TensorFlow源码...
创建文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息,请参见 ...
重要 不同存储类型的文件系统不能相互转换,更多有关文件系统的使用限制,请参见 文件存储NAS使用限制 和 文件存储CPFS使用限制。根据业务负载选型 标识说明:√:表示当前文件系统支持。表示当前文件系统不支持。项目 通用型NAS 极速型NAS...
背景信息 在创建NAS文件系统后,如要挂载NAS文件系统,最简单的方式就是购买一台新的ECS实例,并在购买过程中配置挂载NAS文件系统。下文主要介绍购买ECS实例时配置挂载NAS文件系统的步骤。在配置挂载NAS文件系统时,可以挂载单个文件系统,...
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作,请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK,且JDK版本不低于1.8。背景信息 本文以hadoop...
Fileset是在CPFS文件系统中的一个小型文件系统,拥有独立的inode空间和管理能力。在执行数据流动任务前,需要在CPFS文件系统中指定目录作为数据流动的Fileset。同时,Fileset可用于导出数据,创建NFS挂载点挂载CPFS文件系统。相比普通目录...
如果您不需要再使用CPFS服务,请先登录挂载CPFS文件系统的计算节点并卸载文件系统,然后登录控制台移除挂载点和删除文件系统。完成以上操作后,则在下一个账期不会产生扣费。包年包月模式的CPFS文件系统能否转换为按量付费模式?不能。已...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查:确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
由于NAS不支持授予RAM用户单一文件系统的查看权限,当要授予RAM用户单一文件系统完全控制权限时,需要先授予RAM用户全部文件系统的查看权限,然后再授予RAM用户单一文件系统的操作(删除、修改)权限。具体操作,请参见 为RAM用户授权的...
开启该功能后,NAS会对存储在文件系统中的数据进行加密,访问数据时,NAS自动将加密数据解密后返回给用户。本文介绍服务器端加密的工作原理、支持的地域及相关操作。使用限制 仅支持在创建文件系统时开启数据加密功能。已开启数据加密功能...
图形化工具ossbrowser 访问接入 ossfs 对于原来需要直接读写本地文件的应用程序,为了让应用程序能在不作修改的情况下直接访问对象存储OSS的数据,您可以使用ossfs将OSS的Bucket挂载到Linux系统中,并将其映射到本地目录,从而能够像处理...
通过查看文件存储CPFS文件系统的容量监控和性能信息,您可以了解文件系统的存储容量使用情况和读写吞吐、读写IOPS等情况。通过为文件系统的重要监控指标设置报警规则,您可以及时获知指标异常并快速处理异常。本文介绍文件存储CPFS支持的...
相比于包年包月方式仅能抵扣其关联的CPFS文件系统存储费用,资源包可抵扣多个CPFS文件系统的存储容量且支持叠加使用。使用规则 创建包年包月类型CPFS文件系统后,将根据您的文件系统的最大容量扣除包年包月额度。购买时配置的容量即为该...
容器网络文件系统CNFS(Container Network File System)将阿里云的文件存储抽象为一个K8s对象(CRD)进行独立管理,包括创建、删除、描述、挂载、监控及扩容等运维操作,为了提升NAS文件系统的性能,您可以通过CNFS(Container Network ...
警告-delete 选项代表从容灾文件系统中删除已在业务文件系统中被删除的数据,请谨慎使用,避免将容灾文件系统中的数据意外删除。您也可以为两个文件系统开启回收站功能,当您误删除业务或容灾文件系统中的文件后,可以通过NAS回收站恢复...
如果现有SDK不能满足使用需求,可通过签名机制进行自签名对接。由于自签名细节非常复杂,需花费 5个工作日左右。因此建议加入我们的服务钉钉群(11370001915),在专家指导下进行签名对接。在使用API前,您需要准备好身份账号及访问密钥...
本文介绍如何使用rsync工具实现阿里云文件存储NAS NFS协议文件系统之间的数据迁移。前提条件 已拥有一个存有数据的NFS协议文件系统,并且拥有一个专有网络类型挂载点。费用说明 NAS与NAS之间的迁移,会涉及如下费用:使用ECS作为数据传输的...