FTP数据源
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
创建FTP数据源
目前支持传输协议包括以下几种：FTP：文件传输协议，用于控制文件的双向传输，同时也是一个应用程序。SFTP：基于SSH的安全文件传送协议，为传输文件提供一种安全的加密方法。FTPS：基于SSL/TLS的文件传输协议，相当于加密的FTP。Host FTP...
创建FTP数据源
目前支持传输协议包括以下几种：FTP：文件传输协议，用于控制文件的双向传输，同时也是一个应用程序。SFTP：基于SSH的安全文件传送协议，为传输文件提供一种安全的加密方法。FTPS：基于SSL/TLS的文件传输协议，相当于加密的FTP。Host FTP...
上传网站文件到Windows操作系统云虚拟主机
参数说明如下所示：参数 说明 协议 保持默认选项 FTP-文件传输协议。主机 输入FTP登录主机地址。端口 设置为 21。加密 根据您的需求选择合适的加密方式。登录类型 选择 正常。用户 输入FTP登录用户名。密码 输入FTP登录密码。单击 连接(C)...
使用FileZilla管理文件
参数说明如下所示：参数 说明 协议 保持默认选项 FTP-文件传输协议。主机 输入FTP登录主机地址。端口 设置为 21。加密 根据您的需求选择合适的加密方式。登录类型 选择 正常。用户 输入FTP登录用户名。密码 输入FTP登录密码。单击 连接(C)...
DescribeZones-查询可用区
Capacity ProtocolType string 文件传输协议类型。当 FileSystemType=standard 时，包括：nfs、smb。当 FileSystemType=extreme 时，包括：nfs。当 FileSystemType=cpfs 时，包括：cpfs。说明 仅中国站支持 CPFS 文件系统。nfs 示例 正常...
DescribeZones-查询可用区
Capacity ProtocolType string 文件传输协议类型。当 FileSystemType=standard 时，包括：nfs、smb。当 FileSystemType=extreme 时，包括：nfs。当 FileSystemType=cpfs 时，包括：cpfs。说明 仅中国站支持 CPFS 文件系统。nfs 示例 正常...
通过CNFS方式使用NAS文件系统
parameters.protocolType 文件传输协议类型为NFS，目前仅支持NFS V3协议。parameters.encryptType 加密方式，None 表示不加密，SSE-KMS 表示使用NAS服务端KMS加密。parameters.enableTrashCan 是否开启回收站功能，false 表示不开启回收站...
内存诊断
filecache Linux在读写文件时，用内存缓存磁盘文件的内容，程序访问文件时直接操作内存，从而加快程序对文件的读写。匿名内存 在系统运行过程中动态分配（new、malloc、mmap）给进程的堆和栈所占的内存，没有实际的文件名与之相关联。共享...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
远程文件系统
如果您的数据保存在远程文件系统（例如远程Windows文件系统、远程Linux文件系统、NAS服务器）中，您需要将远程文件系统挂载至闪电立方设备上进行数据迁移。本文介绍配置业务IP地址，及挂载远程文件系统至闪电立方设备的操作步骤。前提条件 ...
集群吞吐性能测试
顺序读取 文件存储 HDFS 版 上面500个大小为4 GB的文件，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOread.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-read-...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
在NFS（Network File System）文件系统中通过read、copy_file_range等系统调用读取文件时，与同场景下的Alibaba Cloud Linux 2相比，可能会存在明显的性能退化情况。本文介绍在Alibaba Cloud Linux 3系统的ECS实例中，在NFS文件系统下读取...
性能监控FAQ
优化该参数将提升频繁读取文件属性场景的文件系统性能。maxFileToCache 最大缓存的inode数量。优化该参数将提升反复访问海量小文件场景的文件系统性能。prefetchPct、prefetch及write-behind buffer 占用page pool的最大比例。优化该参数将...
NAS存储卷FAQ
Operation not permitted 使用NAS动态存储卷时，Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 使用NAS存储卷时，无法创建或修改目录 当工作负载挂载NAS存储卷时，提示unknown filesystem type"xxx"读写文件时，...
TensorFlow常见问题
使用 tf.gfile.Glob、tf.gfile.FastGFile、tf.WhoFileReader()及 tf.train.shuffer_batch()，适用于批量读取文件（读取文件之前需要获取文件列表。如果批量读取，还需要创建Batch）。使用 Designer 搭建深度学习实验时，通常需要在界面右侧...
为什么文件读写权限修改为私有后，通过文件URL下载...
本文介绍文件读写权限修改为私有后，通过文件URL下载文件报错的原因。当文件读写权限为公共读或者公共读写时，您可以通过文件URL直接下载文件。当文件读写权限修改为私有后，您需要在文件URL中包含签名，然后将签名URL分享给第三方用于下载...
生命周期管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
在文件存储 HDFS 版上使用Presto
说明 在本文中Presto是通过连接Hive的元数据服务来读取 文件存储 HDFS 版 上的数据，在 文件存储 HDFS 版 上使用Presto时需要额外配置一些依赖包。具体操作，请参见 步骤二：配置Presto。步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在...
授予云备份客户端读取SMB NAS文件权限
操作步骤 请按照如下步骤授予 云备份 客户端读取文件权限。连接ECS实例或登录本地服务器。连接ECS实例操作，请参见 连接ECS实例。使用组合键 Win+R，打开 运行 工具，之后输入 services.msc，单击 确定。在服务中找到Aliyun Cloud Hybrid ...
FS-文件系统
mode String 否 读取文件内容返回格式不填此参数返回为String数组，填入 'b' 为字节数组。返回 返回值 说明 data Array类型，读取到的数据。fs.unlinkSync(String path)删除对应PATH的文件。入参 属性 类型 是否必填 描述 path String 是 ...
PAI-TF数据IO方式介绍
import csv csv_reader=csv.reader(open('csvtest.csv'))for row in csv_reader:print(row)不建议使用第三方库读取文件的方式。使用第三方库（如TFLearn、Pandas）的数据IO方式读取数据。通常，第三方库是通过封装Python的读取方式实现，...
PTS在并发和RPS模式下读取多文件参数的方式
本文介绍在并发模式和RPS模式下，PTS读取多文件参数的方式。并发模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准...
生命周期管理概述
当您需要频繁访问低频存储或归档存储中的文件时，文件存储NAS支持文件或目录取回操作，避免频繁读写文件产生过多的读写费用。价格低廉，享受高品质无忧存储服务 例如，通用性能型NAS文件系统在开启低频存储后，相对于原通用性能型NAS文件...
DescribeCommonOverallConfigList-查询防御开关的配置
USER-ENABLE-SWITCH-TYPE_53272：Linux 利用内核漏洞提权 USER-ENABLE-SWITCH-TYPE_54395：Linux 越权读写敏感文件 USER-ENABLE-SWITCH-TYPE_57897：Linux 疑似提权行为 USER-ENABLE-SWITCH-TYPE_52825：Windows 越权执行高危命令 USER-...
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
vfs
flags：打开操作模式 返回值 文件描述符：成功失败 flags:参数 描述 O_RDONLY 只读方式打开文件 O_WRONLY 只写方式打开文件 O_RDWR 以读写方式打开文件 O_CREAT 如果要打开的文件不存在，则建立该文件 O_APPEND 当读写文件时会从文件尾开始...
元数据性能测试
如果为true,则读取文件并报告平均读取时间.默认为false.非必选项>create_write性能测试 使用20个Map，10个Reduce的MapReduce作业，创建1000个文件。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar...
目录和文件访问权限
权限名称 文件 目录 Read（R）可以读取文件的内容。查看目录需要Read和Execute权限。Write（W）可以在文件中写入或追加内容。在目录下创建节点需要Write和Execute权限。Execute（X）HDFS 中文件的Execute权限没有意义。遍历目录时需要目录...
BatchOperateCommonOverallConfig-批量修改防御开关的...
USER-ENABLE-SWITCH-TYPE_53272：Linux 利用内核漏洞提权 USER-ENABLE-SWITCH-TYPE_54395：Linux 越权读写敏感文件 USER-ENABLE-SWITCH-TYPE_57897：Linux 疑似提权行为 USER-ENABLE-SWITCH-TYPE_52825：Windows 越权执行高危命令 USER-...
文件
文件类WVFile的JSAPI提供写入、读取文件内容、获取文件信息、文件下载、文件上传的相关能力。WVFile.write 将指定的文件内容写入磁盘。输入参数[string]mode：写入文件的模式。write：表示写文件，若文件不存在则创建文件，若文件已存在则...
SDK示例
通过调用FileSystem实例的open方法获取读文件的输入流，然后使用该输入流读取 文件存储 HDFS 版 的指定文件的内容。读文件代码样例如下。读文件*@param filePath*@return*@throws IOException*/private StringBuffer readFile(final Path ...
macOS客户端通过VPN访问SMB协议文件系统
本文档介绍macOS客户端如何通过VPN挂载SMB协议文件系统以及如何使用macOS客户端通过Kerberos协议访问SMB协议文件系统。前提条件 已创建SMB协议文件系统。具体操作，请参见 创建文件系统。已添加专有网络类型的挂载点。具体操作，请参见 ...
在文件存储 HDFS 版上使用Apache Spark
步骤四：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
检测攻击类型说明和防护建议
当使用该Class进行文件读写的时候，如果未对文件路径、文件内容进行限制，攻击者可能读取到系统敏感文件，也可能上传木马文件。请检查文件读取和上传是否正常。如果出现异常，请检查函数代码，并通过黑名单进行限制。恶意文件上传 对于网站...
推荐的挂载方式
指标 测试场景 ① 未开启CNFS加速客户端 开启CNFS加速客户端 元数据性能 100万文件目录遍历耗时 18min 小于60s 创建写入4 KB文件耗时 3000μs 小于200μs 重复读取4 KB文件耗时 400μs 小于100μs 吞吐性能 单节点读写吞吐性能 ② 200~500 ...
计费常见问题
如果只读取文件的一部分，则按照读取的部分产生的流量收费。低频读写流量不区分网络环境，只要发生读写就会产生读写流量费用。执行数据取回任务时，按照目标文件大小收取读流量费用。备份低频存储中的文件时，按照目标文件大小收取读流量...
Amazon S3数据源
支持递归读取、文件名过滤。支持文本压缩，现有压缩格式为 gzip、bzip2 和 zip。支持多个 Object 并发读取。单个 Object（File）不支持多线程并发读取。单个 Object 在压缩状态下，不支持多线程并发读取。单个 Object（File）不能超过100 ...
使用JindoFuse挂载访问
oro direct_io 否 开启该选项后，读写文件可以绕过页高速缓冲存储器（Page Cache）。odirect_io kernel_cache 否 开启后该选项后，通过内核缓存优化读性能。okernel_cache auto_cache 否 默认开启自动缓存。与 kernel_cache 不同的是，如果...
通用型NAS计费
如果只读取文件的一部分，则按照读取的部分产生的流量收费。低频或归档读写流量不区分网络环境，只要发生读写就会产生读写流量费用。执行数据取回任务时，按照目标文件大小收取读流量费用。备份低频存储或归档存储中的文件时，按照目标文件...
- 产品推荐
- 这些文档可能帮助您