上传相关
针对大文件sha1计算非常耗时的情况，可以先在读取文件的前1k的sha1，如果前1k的sha1没有匹配的，那么说明文件无法做秒传，如果1ksha1有匹配再计算文件sha1进行秒传，这样有效边避免无效的sha1计算。新上传文件后，为什么 drive 的空间没有...
OSS存储读写分离最佳实践
OSS数据卷是使用ossfs文件进行挂载的FUSE文件系统，适合于读文件场景。OSS为共享存储，支持ReadOnlyMany和ReadWriteMany两种访问模式。ossfs适用于并发读场景，建议您配置PVC和PV的访问模式为ReadOnlyMany。本文介绍在读多写少场景下如何...
文件类型判断和处理
Message":"文件类型错误，请检查文件类型-请参考算法API文档，使用算法支持的文件类型"} 文件类型的判断 阿里云视觉智能开放平台能够读取文件并获取真实的文件类型，不是通过文件后缀名进行类型判断，所以通过修改文件后缀名的方式改变...
OSS存储卷概述
读写文件场景，具体操作，请参见 OSS存储读写分离最佳实践。加密存储在OSS存储卷上的数据 仅支持服务器端加密。更多信息，请参见 服务器端加密。具体操作，请参见 加密OSS存储卷。使用限制及说明 重要 OSS存储卷通过FUSE将对象存储挂载到...
集成对象存储OSS
云工作流 允许将 对象存储 OSS（Object Storage Service）作为流程执行...文件（Object）操作 读取文件 集成示例.-Type:Task Name:ossRead Action:OSS:GetObject TaskMode:RequestComplete Description:读取OSS数据示例 Parameters:region:...
功能概览
阿里云NAS收取公网读取文件费用和存储文件费用，阿里云OSS收取存储文件费用。计费详情请参见 阿里云NAS计费概述 和 阿里云OSS计费概述。安装客户端 同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储前，您需要在数据源...
创建并管理文件系统
删除挂载点 删除挂载点前，请确保业务不再写入或读取文件系统数据，并确保已经删除文件系统下的全部文件。在 协同存储NAS 列表页，单击操作列 管理 进入 协同存储NAS 详情页。在 协同存储NAS 详情页，找到目标挂载点，在操作列选择 删除。...
FTP Check节点
为了保证DataWorks成功读取完整的外部数据库的数据，此时，可以让其他调度系统在数据库中的数据写入任务完成后，在指定文件系统中进行文件标记（例如，生成一个.done 文件），表明该任务已完成。然后在DataWorks中配置一个FTP Check节点，...
访问SMB共享目录
本文介绍如何通过Windows操作系统中的客户端访问本地文件网关。前提条件 已创建共享，详情请参见...如果访问用户只有读权限，则只能读取文件。说明 云存储网关的共享目录与OSS Bucket之间做了同步，您对共享目录的操作实际也是对OSS进行操作。
ListLifecycleRetrieveJobs-查询数据取回任务列表
completed DiscoveredFileCount long 执行数据取回任务读取文件的总个数。100 UpdateTime string 任务更新时间。执行 ISO8601 标准表示，返回格式：yyyy-MM-ddTHH:mm:ssZ。2021-02-30T11:08:08Z Paths array 指定取回任务的执行路径。...
云存储网关软件版公测
21s 从开始创建文件到文件全部上云所花费时间：81s 在客户端无元数据缓存的前提下，执行 ls个文件所属文件夹>花费时间：0.24s 花费时间：3.36s 创建10万个4 KB小文件 创建文件所花费时间：384s 从开始创建文件到文件全部上云所花费时间：...
OSS文件如何避免数据误删或误覆盖
当策略锁定后，用户可以在Bucket中上传和读取文件（Object），但是在Object的保留时间到期之前，任何用户都无法删除Object和策略。Object的保留时间到期后，才可以删除Object。对于非常重要的数据，您可以开启合规保留策略，文件在保留周期...
索引表加载策略
索引表加载策略配置 索引表的加载策略配置由多个索引文件的加载策略组成，每个策略描述了一组索引文件的具体加载方式。索引表在加载时，针对每个索引文件，从上到下依次匹配策略规则，优先使用第一个匹配的策略加载索引文件。配置示例 JSON...
索引表加载策略
索引表加载策略配置 索引表的加载策略配置由多个索引文件的加载策略组成，每个策略描述了一组索引文件的具体加载方式。索引表在加载时，针对每个索引文件，从上到下依次匹配策略规则，优先使用第一个匹配的策略加载索引文件。配置示例 JSON...
访问NFS共享目录
如果访问用户只有读权限，则只能读取文件。说明 云存储网关的共享目录与OSS Bucket之间做了同步，您对共享目录的操作实际也是对OSS进行操作。自动挂载NFS共享目录 为避免已挂载文件系统的客户端重启后，挂载信息丢失，您可以通过在Linux...
使用OSS加速器
您也可以根据经验配置一定大小的加速器空间，加速器会在数据读取时自动缓存文件至加速器高性能介质中，供下次读取时快速访问。加速器的空间可根据加速效果随时进行扩缩调整。如果您的推理程序需要通过本地目录方式访问OSS，您需要部署 ...
访问NFS共享目录
如果访问用户只有读权限，则只能读取文件。说明 云存储网关的共享目录与OSS Bucket进行了数据同步，您对共享目录的操作实际也是对OSS进行操作。卸载共享目录 您可以执行 umount local-directory 来卸载共享目录。其中 local-directory 为...
使用oss_fdw读写外部数据文本文件
说明 目前oss_fdw支持读取和写入OSS中文件的格式为：text/csv、gzip格式的text/csv文件。oss_fdw各参数的值需使用双引号（""）引起来，且不含无用空格。CREATE SERVER 参数 ossendpoint：是内网访问OSS的地址，也称为host。id oss：账号ID...
读写外部数据文本文件（oss_fdw）
说明 目前oss_fdw支持读取和写入OSS中文件的格式为：csv或者gzip格式的csv文件。oss_fdw各参数的值需使用双引号（""）引起来，且不含无用空格。CREATE SERVER参数 参数 说明 host 内网访问OSS的地址。id 账号ID。key 账号Key。bucket 存储...
使用DBFS静态存储卷
数据库文件存储（DBFS）是一款针对数据库场景的云原生共享文件存储服务，支持共享式多点挂载并进行读写。本文介绍如何使用DBFS静态存储卷以及如何验证DBFS存储卷的共享存储特性。索引 前提条件 注意事项 步骤一：创建PV和PVC 步骤二：创建...
开发指南
背景信息 HDFS相关的操作如下所示：HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除目录 删除文件 移动或重命名文件 移动或重命名目录 HDFS初始化 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。初始化HDFS时会加载HDFS的配置...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
PTS在并发和RPS模式下读取多文件参数的方式
并发模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准。若先设置了基准参数，还可设置是否轮询一次。您可以在 ...
PTS在虚拟用户和RPS模式下读取多文件参数的方式
虚拟用户模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准。若先设置了基准参数，还可设置是否轮询一次。您可以在...
PTS在并发和RPS模式下读取多文件参数的方式
并发模式下某API文件读取示例 说明如下：若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准。若先设置了基准参数，还可设置是否轮询一次。并发模式下，每...
set-acl（设置或修改ACL）
取值如下：private（默认值）：只有该Bucket的拥有者可以对该Bucket内的文件进行读写操作，其他人无法访问该Bucket内的文件。public-read：只有Bucket拥有者可以对该Bucket内的文件进行写操作，其他用户（包括匿名访问者）都可以对该Bucket...
获取存储空间读写权限
存储空间读写权限 存储空间的读写权限（ACL）包括如下三种：访问权限 描述 访问权限值 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。private 公共读 存储空间的拥有者和授权...
管理文件访问权限
文件访问权限包括继承Bucket、私有、公共读和公共读写四种。本文介绍如何获取文件（Object）的访问权限。文件访问权限 访问权限 描述 访问权限值 继承Bucket 文件遵循存储空间的访问权限。default 私有 文件的拥有者和授权用户有该文件的...
Parquet（推荐）
我们建议将数据写到Parquet以方便长期存储，因为从Parquet文件读取始终比从JSON或者CSV文件效率更高。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
性能说明FAQ
通过在文件系统写入空洞文件或使用Truncate命令生成一个文件来增加文件系统使用容量，从而提升文件系统的读写吞吐。同时，空洞文件和Truncate命令生成的文件在阿里云NAS上占用实际容量，按实际大小计费。更多信息，请参见 通用型NAS计费。...
管理文件访问权限
oss.ACLDefault 私有 文件的拥有者和授权用户有该文件的读写权限，其他用户没有权限操作该文件。oss.ACLPrivate 公共读 文件的拥有者和授权用户有该文件的读写权限，其他用户只有文件的读权限。请谨慎使用该权限。oss.ACLPublicRead 公共...
获取文件访问权限
文件访问权限包括私有、公共读和公共读写三种。本文介绍如何获取文件（Object）的访问权限。注意事项 使用本文示例前您需要先通过自定义域名、STS等方式新建OSSClient，具体请参见 如何初始化Android端OSSClient实例。文件访问权限 文件...
管理文件访问权限
oss2.OBJECT_ACL_DEFAULT 私有 文件的拥有者和授权用户有该文件的读写权限，其他用户没有权限操作该文件。oss2.OBJECT_ACL_PRIVATE 公共读 文件的拥有者和授权用户有该文件的读写权限，其他用户只有文件的读权限。请谨慎使用该权限。oss2....
获取存储空间的访问权限
存储空间的读写权限（ACL）有以下三类：访问权限 描述 访问权限值 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。private 公共读 存储空间的拥有者和授权用户有该存储空间内的...
静态网站托管
您可以通过将默认首页或者默认404页中指定文件的读写权限ACL设置为 public-read，确保该文件允许匿名访问。有关设置文件读写权限ACL的具体步骤，请参见 设置Object ACL。配置示例 为云盒Bucket开启静态网站托管后，您需要将与默认首页名称...
FS-文件系统
fs.readSync(String path,Number pos,Number len,String mode)读取PATH路径下文件内容，支持分段读取。入参 属性 类型 是否必填 描述 path String 是 文件的路径和名称。pos Number 否 读取文件内容位置。len Number 否 读取内容的长度。...
管理文件访问权限
default 私有 文件的拥有者和授权用户有该文件的读写权限，其他用户没有权限操作该文件。private 公共读 文件的拥有者和授权用户有该文件的读写权限，其他用户只有文件的读权限。请谨慎使用该权限。public-read 公共读写 所有用户都有该...
管理存储空间读写权限
设置存储空间读写权限 存储空间的读写权限（ACL）有以下三类：读写权限 描述 方法 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。oss2.BUCKET_ACL_PRIVATE 公共读 存储空间的...
管理文件访问权限
default 私有 文件的拥有者和授权用户有该文件的读写权限，其他用户没有权限操作该文件。private 公共读 文件的拥有者和授权用户有该文件的读写权限，其他用户只有文件的读权限。请谨慎使用该权限。public-read 公共读写 所有用户都有该...
- 产品推荐
- 这些文档可能帮助您