ECS实例挂载同一NFS文件系统出现数据不同步的情况
问题原因 该现象与mount的选项和 tail-f 命令的实现相关：挂载使用的mount命令为：mount-t nfs4/mnt/，对于在ECS B实例上以这一方式挂载的NFS文件系统，默认情况下Kernel对文件和目录的属性维护了一份metadata缓存，文件和目录属性（包括...
HDFS配额（Quotas）介绍
名称配额（Name Quotas）名称配额是对当前目录树中的文件和目录名称数量的硬性限制。创建文件或目录时，如果超出配额，则文件和目录创建失败。配额是一个目录的属性，不仅在创建时会检查配额，在重命名时也会检查配额。如果一个目录已经...
文件存储CPFS（NFS协议）备份
例如备份文件路径为/ifs/dataset，文件列表填写为/subdir/data，则备份（或不备份）/ifs/dataset/subdir/data 路径下的文件和目录。例如备份文件路径为/ifs/dataset，文件列表填写为/abc*，则备份（或不备份）/ifs/dataset/abc 路径下匹配...
挂载访问FAQ
为什么不能改变文件owner，文件和目录mode？并发访问同一文件时，服务器端出现无响应35s现象，该如何处理？为什么SMB文件系统挂载点无响应？为什么无法创建符号链接文件？拷贝大文件时报"cp:error writing 'o/file>':Bad file descriptor...
查询已删除的文件或目录
如果一次查询结果并没有完整返回所有的文件和目录，则返回 NextToken 不为空。您可以在查询中上传正确的 NextToken 继续查询。1256*25 MaxResults long 否 每次查询返回文件或目录的个数。取值范围：10~1000 默认值：100 100 返回参数 名称...
备份大规模文件系统
例如备份文件路径为/ifs/dataset，文件列表填写为/subdir/data，则备份（或不备份）/ifs/dataset/subdir/data 路径下的文件和目录。例如备份文件路径为/ifs/dataset，文件列表填写为/abc*，则备份（或不备份）/ifs/dataset/abc 路径下匹配...
管理共享
子目录可以为OSS Bucket中已存在的目录也可以为OSS Bucket中还未创建的目录，创建共享完成后，将以该子目录为根目录，后续的文件和目录都会创建在该目录下。不支持回源类型的Bucket。云存储网关无法保证对一个文件只发起一次写操作，因此不...
管理NFS共享
子目录可以为OSS Bucket中已存在的目录也可以为OSS Bucket中还未创建的目录，创建共享完成后，将以该子目录为根目录，后续的文件和目录都会创建该目录下。使用元数据盘 使用元数据盘后，将数据盘与元数据盘分离，元数据盘用于存放共享文件...
高级配置
ossfs bucket_name mount_point-ourl=endpoint-oallow_other-omp_umask=007 设置挂载点下的文件和目录权限，只允许同组用户访问，即权限为770。ossfs bucket_name mount_point-ourl=endpoint-oumask=007 挂载时指定为其他用户和组，同时只...
管理SMB共享
子目录可以为OSS Bucket中已存在的目录也可以为OSS Bucket中还未创建的目录，创建共享完成后，将以该子目录为根目录，后续的文件和目录都会创建该目录下。使用元数据盘 使用元数据盘后，将数据盘与元数据盘分离，元数据盘用于存放共享文件...
特性
在执行相应的代码前请先执行 umask 777，这样创建文件和目录时传入的mode会变成000，可以让默认的权限最小化，详情请参见 umask与默认mode。Linux文件和目录的系统调用，默认会传入mode作为参数。按照 RFC7530 协议标准，需要在继承ACL之后...
在云控制台上使用文件网关
子目录可以为OSS Bucket中已存在的目录也可以为OSS Bucket中还未创建的目录，创建共享完成后，将以该子目录为根目录，后续的文件和目录都会创建在该目录下。不支持回源类型的Bucket。云存储网关无法保证对一个文件只发起一次写操作，因此不...
在本地控制台上使用文件网关
子目录可以为OSS Bucket中已存在的目录也可以为OSS Bucket中还未创建的目录，创建共享完成后，将以该子目录为根目录，后续的文件和目录都会创建该目录下。使用元数据盘 使用元数据盘后，将数据盘与元数据盘分离，元数据盘用于存放共享文件...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。...核算存储量是指5 MiB×Inode（包括文件和目录）数量获得的存储量。Inode数量可以通过控制台和容量监控获得。
什么是文件存储 HDFS 版
此外，多个计算节点可以同时访问同一个 文件存储 HDFS 版 实例，共享文件和目录。使用方式 通过注册阿里云账号，您可以在开通文件存储HDFS版服务的地域下，通过阿里云提供的以下途径创建、使用或者释放 文件存储 HDFS 版 实例：文件存储 ...
JindoDistCp使用说明
DistCpMode.COPY 4.3.0+支持 支持-update 可选 设置DistCp模式为UPDATE，指定增量同步功能，跳过完全相同的文件和目录，直接将src中新增或发生改变的文件和目录同步到dest上。DistCpMode.COPY 4.3.0+支持 支持-preserveMeta 可选 设置是否...
归档
例如归档文件路径为/ifs/dataset，文件列表填写为/subdir/data，则归档/ifs/dataset/subdir/data 路径下的文件和目录。例如归档文件路径为/ifs/dataset，文件列表填写为/abc*，则归档/ifs/dataset/abc 路径下匹配前缀abc的文件或目录。如果...
管理文件网关
子目录可以为OSS Bucket中已存在的目录也可以为OSS Bucket中还未创建的目录，创建共享完成后，将以该子目录为根目录，后续的文件和目录都会创建在该目录下。不支持回源类型的Bucket。云存储网关无法保证对一个文件只发起一次写操作，因此不...
下载文件
这种方式可以下载多个文件和目录，但是占用内存较大，不适合下载较大文件或目录。Web 端下载，推荐使用第一和第二种结合的方式。单个文件用第一种，多个文件或目录用第二种。downloadFile 方法 下载文件便捷方法。重要 此方法仅支持 Node....
OSS目录是否有层级限制？
具体表现在以下几个方面：管理复杂度提升：随着目录深度的增加，对文件和目录进行批量操作（例如移动、复制、删除等）的难度相应增大。每一个层级都需要精确指定和处理，增加了操作的繁琐程度和出错概率。查询效率下降：在进行查询操作，...
EFC加速NAS或CPFS文件访问
相比于内核态NFS v3、v4.x客户端和其他基于开源FUSE的客户端，EFC有以下优势：强一致的语义：EFC通过强一致的分布式锁机制实现文件和目录的强一致；文件写入可以立即被其他客户端读取；新文件创建出来后，就可以立即让所有的其他客户端同步...
CreateFile-创建目录或者文件
378cc7630f26*OwnerAccessInheritable boolean 否 共享目录文件。取值：false（默认值）：不共享目录权限。true：共享目录权限。说明 当 Type=Directory 并且 Owner 不为空时，该参数生效。目录带有可继承的 Owner 权限。该目录下创建的子...
SetDirQuota-设置文件系统的目录配额
包括文件、目录和特殊文件。当 QuotaType=Enforcement 时，SizeLimit 和 FileCountLimit 至少填写其中一项。10000 返回参数 名称 类型 描述 示例值 object RequestId string 请求 ID。5BC5CB97-9F28-42FE-84A4-0CD0DF42*Success boolean ...
管理数据流动任务
当文件名和文件子目录发生冲突时，在CPFS文件系统中会出现对象冲突的情况，只能确保其中一个操作成功，而另一个则会失败。配置项 说明 导入数据类型 支持 数据＋元数据 类型。表示同时导入文件的数据块及元数据。导入文件 选择数据流动任务...
配置NAS NFS存储卷容量
设置限制性配额后，如果文件使用量超过限制会导致增加文件长度，创建文件、目录和特殊文件，移动文件到目录等写入操作失败，应用层会收到IOError。由于限制型配额的高风险性，强烈建议您在业务关键路径上谨慎评估和测试验证后，再配置限制...
mPaaS 目录结构
如果是从低版本升级而来，其中其它组件的目录和 category 不会再生成。目录结构如下：└─MPaaS├─mpaas_sdk.config├─Targets|└─mPaaSDemo（工程 Target 名称）|├─mPaaSDemo-mPaaS-Headers.h|├─mPaaSDemo-Prefix.pch|├─...
扩容NAS存储卷容量
设置限制性配额后，如果文件使用量超过限制，会导致增加文件长度、创建文件、目录和特殊文件，移动文件到目录等写入操作失败，应用层会收到IOError。由于限制型配额的高风险性，强烈建议您在业务关键路径上谨慎评估和测试验证后，再配置...
访问NFS共享目录
背景信息 通过Linux操作系统中的客户端访问本地文件网关，首先需要将本地文件网关的共享目录挂载至本地的文件目录上，挂载成功后将建立本地目录和本地文件网关的共享目录之间的映射。建立映射成功后，您可以像操作本地目录一样操作共享目录...
查询文件系统详情
查询文件系统资源使用量 您可以通过以下方式快速查询当前阿里云账号下文件系统资源使用情况，例如总存储空间、使用容量、计费容量、文件数和目录数。说明 文件系统概览页的数据均不是实时数据，不作为账单计算的计量数据。若您希望查询更...
使用须知
例如，如果在Windows下挂载文件网关的NFS共享，那么大部分中文文件和中文目录都会创建失败，这时Windows会返回0x8007045D的错误。文件网关中的单个文件超过256 MB的情况下，不建议开启Bucket的多版本功能。否则会出现文件元数据上传超时，...
管理文件概述
请结合自身业务场景，灵活选用以下多种文件的管理方式：当您需要了解Bucket内所有文件或者指定目录下包含的文件和子目录相关信息时，请使用列举文件。具体操作，请参见 列举文件。当您需要将某个Bucket中的文件复制到同一地域下相同或不同...
基础管理FAQ
具体操作，请参见 通过NAS控制台卸载挂载目录、通过执行命令卸载挂载目录 和 删除文件系统。说明 重启服务器请在业务允许重启时进行重启操作。NAS被释放后，阿里云还会存储我的数据吗？不会，当您成功释放NAS资源后，数据会立即被清除。...
将数据写入OSS
更多OSS存储空间、OSS目录、上传数据文件操作信息，请参见 创建存储空间、创建目录 和 上传文件。示例：通过内置文本数据解析器将数据写入OSS-非分区路径 读取 示例：通过内置文本数据解析器创建OSS外部表-非分区表 中创建的OSS外部表mc_...
OSS-HDFS数据源
如果在此过程中，发生网络中断等情况造成无法与OSS-HDFS建立连接，需要您手动删除已经写入的文件和临时目录。支持的字段类型 离线读 ParquetFile、ORCFile、TextFile、CsvFile中的类型，会默认转为数据集成支持的内部类型，如下表所示。...
OPTIMIZE PARTITION
本文档介绍了优化分区或子分区、回收未使用的空间和整理分区数据文件的方法。描述 如果从分区或子分区中删除了大量的行，或者对一个带有可变长度的行（即存在VARCHAR、BLOB或TEXT类型的列）进行修改，可以使用 ALTER TABLE…OPTIMIZE ...
常见问题
文件系统对文件名和目录名有严格的限制，因此会收到上述错误。解决方案：用其他工具对这些Object重命名后，ls就能正确显示目录内容了。通过rm命令删除文件时报错"Operation not permitted"问题分析：通过rm命令删除文件时，会调用...
跨目录配额创建硬链接
前两种是针对用户和组的，最后的project quota提供一种更细粒度的磁盘配额，细化到文件系统的目录和文件，使用project id将不同的目录和文件进行标记并限制。本文介绍的功能便是指在ext4文件系统中跨不同的project id目录创建硬链接。接口...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS...拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例如下：hdfs dfs-cp oss:/examplebucket....
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop ...拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，访问OSS-HDFS示例如下：hadoop fs-cp oss:/examplebucket....
EMR HBase日志说明
本文为您介绍EMR HBase日志的目录、文件分类和文件保留策略。日志目录 EMR HBase进程日志目录地址为/var/log/taihao-apps/hbase。日志文件分类 EMR HBase进程日志文件分类：*.gc日志文件：记录进程GC日志，可以用于GC导致的问题分析。log...
- 产品推荐
- 这些文档可能帮助您