SDK示例
通过调用FileSystem实例的open方法获取读文件的输入流，然后使用该输入流读取 文件存储 HDFS 版 的指定文件的内容。读文件代码样例如下。读文件*@param filePath*@return*@throws IOException*/private StringBuffer readFile(final Path ...
高级配置：内存缓存本地目录
该目录可以是OSS或NAS中的加速文件挂载到容器中的挂载路径，也可以是挂载路径下的子目录，或者是容器内的其他普通文件目录。mount_path 加速文件的挂载目录，该目录内的文件内容和源目录保持一致，业务程序需从该目录中读取模型。配置说明 ...
sync（同步OSS文件到本地）
如果您不指定输出文件所在的目录，则输出文件默认保存在当前目录下的 ossutil_output 目录。bigfile-threshold 设置断点续传文件的大小阈值，单位为字节。默认值：100 MB 取值范围：0~9223372036854775807-part-size 设置分片大小，单位为...
sync（同步本地文件到OSS）
tagging 文件的标签信息，格式为 TagkeyA=TagvalueA&TagkeyB=TagvalueB.使用示例 本地根目录下 localfolder 文件夹内有 d.txt 和 e.png 文件。OSS中名为examplebucket的Bucket下文件夹 destfolder 内有文件 a.txt、b.txt 和子文件夹 C，...
cp（下载文件）
命令如下：./ossutil64 cp oss:/my-bucket/test.jpg localfolder/-version-id CAEQARiBgID8rumR2hYiIGUyOTAyZGY2MzU5MjQ5ZjlhYzQzZjNlYTAyZDE3MDRk 重要 使用-version-id 选项前，需使用 ls-all-versions 命令获取文件的versionid。...
OSS与文件系统的对比
访问越深的目录消耗的资源也越大，操作拥有很多文件的目录也会非常慢。从上述表格得知，不建议将OSS映射为文件系统。如果结合您的业务场景需要将OSS挂载为文件系统，建议只执行写入文件、删除文件、读取文件操作。使用OSS应该充分发挥其...
入门概述
监测文件的使用量 数据监控 限制文件的目录或文件数 目录配额 备份文件系统中的数据 备份和恢复文件 回收站 快照 将文件系统中的冷数据转存储 低频介质 设置生命周期策略 对文件系统中的数据加密访问 服务器端加密 NFS文件系统传输加密 SMB...
备份本地NAS文件
参数 说明 备份文件路径 输入要备份的文件目录。只支持指定一个文件目录，且不支持通配符。备份文件规则 备份文件规则包含以下三种：包括所有文件：选择此项后，将备份所选备份路径下的所有文件。包含下列文件 或 排除下列文件：选择任意...
使用NAS静态存储卷
选择设置权限时：如果是Flexvolume v1.14.6.15-8d3b7e7-aliyun以前版本，则使用递归方式进行权限操作，挂载目录下面所有文件、目录都会被修改权限。如果是Flexvolume v1.14.6.15-8d3b7e7-aliyun以及以后版本，配置了此项，按照 权限模式 的...
访问NFS共享目录
local-directory：客户端的本地目录，可以是任意有读写权限的目录，不能是不存在的文件目录。执行 df-h 命令，查看挂载结果。如果系统显示如下类似信息，则表示挂载成功。说明 挂载成功后，显示的容量是OSS的容量，按照文件系统最大容量...
访问NFS共享目录
local-directory：客户端的本地目录，可以是任意有读写权限的目录，不能是不存在的文件目录。noac：如果您开启了极速同步功能，且要挂载的共享已经加入了极速同步组，可以在挂载命令中加入该参数。加入该参数后，客户端会实时从网关获取...
HDFS配额（Quotas）介绍
名称配额（Name Quotas）名称配额是对当前目录树中的文件和目录名称数量的硬性限制。创建文件或目录时，如果超出配额，则文件和目录创建失败。配额是一个目录的属性，不仅在创建时会检查配额，在重命名时也会检查配额。如果一个目录已经...
Linux操作系统云虚拟主机无法删除目录或文件
本文介绍Linux操作系统云虚拟主机无法删除目录或文件的可能原因和解决方案。问题描述 将网站程序上传到Linux操作系统云虚拟主机后，却无法删除某些目录或文件。问题原因 目录或文件无法删除大多由权限问题或存在隐藏文件引起，常见的可能...
HDFS常见命令介绍
du 显示文件的大小或者目录中所有文件的大小。cat 查看HDFS上文件的内容。cp 在HDFS系统中，复制文件或目录到目标路径，并且保持源文件内容或目录结构不变。此命令允许有多个源路径，此时目标路径必须是一个目录。mv 在HDFS系统中，移动...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS...拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例如下：hdfs dfs-cp oss:/examplebucket....
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop ...拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，访问OSS-HDFS示例如下：hadoop fs-cp oss:/examplebucket....
常见命令
语法 Alluxio Shell用法：alluxio fs ls<path>Hadoop Shell用法：hadoop dfs-ls alluxio:/示例：查看/tmp 目录下 hello.txt 文件的信息。alluxio fs ls/tmp/hello.txt 查看/dir/logs 目录的信息。alluxio fs ls/dir/logs cat 查看Alluxio上...
EMR集群接入OSS-HDFS服务快速入门
阿里云开源大数据开发平台E-MapReduce...拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例如下：hdfs dfs-cp oss:/examplebucket....
释放文件系统实例资源
如果要停止在Linux操作系统ECS实例中挂载的NAS文件系统目录，请参见 通过NAS控制台卸载挂载目录。如果要停止在Windows操作系统ECS实例中挂载的NAS文件系统目录，请参见 通过执行命令卸载挂载目录。删除NAS文件系统实例。登录 NAS控制台。在...
ECS实例挂载同一NFS文件系统出现数据不同步的情况
问题描述 当您使用两个ECS实例挂载同一个NFS文件系统，在ECS A实例上追加写文件，在ECS B实例上使用 tail-f 命令查看文件内容的变化时，在ECS A实例上写完之后，在ECS B实例上查看文件内容变化会有10~30秒的延时。然而相同的场景下，如果...
通过Jindo CLI访问
授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util 将 jindo-util 文件重命名为 jindo。mv jindo-util jindo 新建配置文件 jindosdk.cfg，然后在配置文件中添加以下配置项。[common]保持以下默认配置。logger....
管理Fileset
Fileset是在CPFS文件系统中的一个小型文件系统，拥有独立的inode空间和管理能力。在执行数据流动任务前，需要在CPFS文件系统中指定目录作为数据流动的Fileset。同时，Fileset可用于导出数据，创建NFS挂载点挂载CPFS文件系统。相比普通目录...
数据流动概述
例如，执行 ls 命令列出与OSS Bucket链接的目录时，会按需从OSS加载目录项的元数据，在访问文件时会按需从OSS加载文件的数据块。数据的导入与导出 您可以创建数据流动任务实现CPFS与OSS之间的数据导入和导出，以便在计算任务开始前将数据...
压缩和解压缩文件
文件数量较多或单个文件较大时，可以通过压缩文件的方式解决文件传输慢的问题。本文为您介绍在云虚拟主机管理控制台上压缩或解压缩文件的方法。前提条件 已安装FTP客户端。建议您使用FileZilla工具，您可以单击 FileZilla 下载FileZilla...
控制台快速入门
当前目录 文件 ACL 选择文件的读写权限。有关文件ACL的更多信息，请参见 设置Object ACL。私有 待上传文件 选择您需要上传的文件或文件夹。您可以单击 扫描文件 或 扫描文件夹 选择本地文件或文件夹，或者直接拖拽目标文件或文件夹到待上传...
挂载文件系统场景说明
创建NAS文件系统实例后，您还需要将NAS文件系统以目录形式挂载至一个或多个计算节点中，才能实现共享访问。NAS支持在阿里云ECS、容器、FC、PAI等计算节点中共享访问。本文介绍挂载NAS文件系统的注意事项及挂载场景引导。在挂载NAS文件系统...
镜像回源配置示例
获取到目标文件后，OSS进行以下操作：如果回源请求中返回的response包含Content-MD5字段，OSS会计算回源文件的MD5值，并与Content-MD5字段进行匹配。MD5匹配通过则将文件重命名为 examplefolder/example.txt 后保存到bucket-01，并将文件...
Cromwell Server 运维
获取工作流 6.1 获取工作流列表 命令格式：widdler query 其中：默认获取当前 user 7 天内的工作流信息；可以根据 user label等信息来筛选工作流信息；其他使用方法参考 help 信息。6.2 获取工作流 Meta 命令格式：widdler query ...
智能诊断
将依次检查上游任务的运行状态、当前任务设置的定时时间、调度资源的使用情况、当前任务的执行情况：上游依赖 智能诊断的 上游依赖 页面，为您展示当前任务的上游任务运行情况，如果上游任务未运行成功，将阻塞当前任务运行，您可以单击...
将NAS数据迁移至本地
通过Robocopy工具迁移数据 方案优势：Robocopy是Windows系统自带的目录复制命令，该功能可以创建两个文件结构相同的镜像副本且不复制任何不需要的重复文件，同时还允许您保留所有相关的文件信息，包括日期、时间戳等等。同时您也可以通过在...
查看并管理实时实例
停止 批量停止当前 运行中，已完成（仅支持无状态停止）的实时实例。包括 无状态停止 和 保留当前状态停止 两种停止方式。无状态停止：不保留当前状态（Savepoint），下次启动作业时将不带状态启动。保留当前状态停止：保留当前状态...
数据安全
文件存储NAS提供服务器端加密和客户端加密...为了防止由于误删除、数据篡改等导致重要数据不可用，您可以使用文件存储NAS回收站功能或快照功能备份文件系统中的文件或目录，并在数据丢失或受损时及时恢复。更多信息，请参见 回收站 和 快照。
迁移数据至阿里云NAS
使用Robocopy工具迁移数据 Robocopy是Windows系统自带的目录复制命令，该功能可以创建两个文件结构完全的镜像副本而不复制任何不需要的重复文件，同时还允许您保留所有相关文件信息，包括日期、时间戳等等。同时您也可以通过在windows ECS...
查看并管理实时实例
停止 批量停止当前 运行中，已完成（仅支持无状态停止）的实时实例。包括 无状态停止 和 保留当前状态停止 两种停止方式。无状态停止：不保留当前状态（Savepoint），下次启动作业时将不带状态启动。保留当前状态停止：保留当前状态...
NFS协议
其中，尽快刷回NAS服务端，则涉及NAS所提供的如下多节点一致性模型：基于超时的最终一致性 NFS会缓存目录或者文件的属性（FileAttr），操作系统会根据FileAttr是否发生变化，来判断这个目录或者文件是否在其他ECS被修改过。同时，加载...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。...核算存储量是指5 MiB×Inode（包括文件和目录）数量获得的存储量。Inode数量可以通过控制台和容量监控获得。
查看周期实例
终止运行：用于终止当前运行中的业务流程。冻结：用于冻结当前业务流程的运行，冻结后该业务流程下的实例将不会执行。解冻：用于对冻结状态的业务流程进行解冻操作，解冻后将默认业务流程为失败状态，您可重跑该业务流程。置成功：用于置...
采集主机文本日志
选择 文件路径黑名单，配置路径为/home/admin/private*/*_inner.log，则表示在采集时忽略/home/admin/目录下以private开头的目录内，以_inner.log结尾的文件。例如/home/admin/private/app_inner.log 文件被忽略，/home/admin/private/app....
Linux客户端以AD域用户身份挂载并使用SMB文件系统
以及挂载成功后，如何以AD域身份访问SMB协议文件系统，查看和编辑文件或目录的ACL。前提条件 SMB文件系统挂载点已接入AD域。具体操作，请参见 将SMB文件系统挂载点接入AD域。使用适配SMB文件系统的Linux操作系统版本。更多信息，请参见 ...
- 产品推荐
- 这些文档可能帮助您