读写访问文件类问题
问题现象 文件存储NAS为多客户端提供了统一名字空间的文件共享读写能力，但在多进程或多客户端并发写同一个文件的场景中（典型的例如并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上下文信息，而NFS协议本身并...
为什么文件读写权限修改为私有后，通过文件URL下载...
本文介绍文件读写权限修改为私有后，通过文件URL下载文件报错的原因。当文件读写权限为公共读或者公共读写时，您可以通过文件URL直接下载文件。当文件读写权限修改为私有后，您需要在文件URL中包含签名，然后将签名URL分享给第三方用于下载...
如何将公共读Bucket某个目录下的文件读写权限设置为...
本文介绍如何将公共读Bucket某个目录下的文件读写权限设置为私有。OSS不支持对公共读Bucket某个目录下文件的读写权限批量设置为私有，您需要将该目录下所有文件的读写权限逐一设置为私有。关于设置文件读写权限的具体步骤，请参见 设置...
是否支持使用固定的地址访问已上传的文件？
公共读以及公共读写权限的文件 支持 使用固定的地址访问已上传的文件，私有权限的文件 不支持 使用固定的地址访问已上传的文件。文件读写权限为公共读或者公共读写 在存储路径未修改的情况下，公共读或者公共读写的文件的访问地址不变。即...
外部表常见问题
基于外部表执行SQL作业时，运行慢的常见情况如下：OSS外部表中的GZ压缩文件读取慢 问题现象 用户创建了一个OSS外部表，数据源为OSS中的GZ压缩文件，大小为200 GB。在读取数据过程中执行缓慢。产生原因 由于Map端执行计算的Mapper数量过少，...
OSS数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } OSS Reader脚本Demo：ORC或Parquet文件读取OSS 目前通过复用HDFS Reader的方式完成OSS读取ORC或Parquet格式的文件，在OSS Reader已有参数的基础上，增加了 Path、FileFormat 等...
沙箱执行
在公共云SaaS下，Dataphin支持了沙箱执行以隔离数据访问。任务调度引擎在启动任务时，会将任务运行在内置的安全沙箱内，保障任务...限制文件读取：禁止用户任务读写敏感文件，如/etc/hosts等文件等。限制系统命令：禁止如创建用户等敏感命令。
重要组件
Primary即为拥有读写权限的读写库，Replica即为只读实例，仅仅拥有读取数据的权限（后台线程也不能修改数据），Primary和Replica采用Shared Everything架构，即底层共享同一份数据文件和日志文件。StandBy节点拥有一份独立的数据和日志文件...
0053-00000002
问题描述 视频截帧请求访问的目标视频文件读取失败。问题原因 您发起了视频截帧请求，但是目标视频文件读取失败导致截帧失败。问题示例 无。解决方案 当前仅支持对视频编码格式为H264和H265的视频文件进行视频截帧，请确保您访问的目标文件...
恶意行为防御自定义规则最佳实践
文件读写 告警加白规则配置：收到如下图所示的文件读写误拦截告警，则加白规则配置参考下表。说明 系统通过 读写的目标文件 字段判断，拦截文件。配置项 说明 规则名称 建议按误拦截告警规则命名，例如文件读写加白规则。规则类型 选择 ...
检测攻击类型说明和防护建议
当用户可控参数被直接拼接到JSTL标签中而未对该参数进行任何限制的情况下，攻击者可以构造特殊的攻击脚本造成任意文件读取、SSRF的攻击。尽可能不要将用户可控参数直接拼接到JSTL标签上，如果必须这样做，请对该参数的内容进行严格的白名单...
前言
等 delete_object.go 删除文件 copy_object.go 拷贝文件 list_objects.go 列举文件 archive.go 解冻文件 object_acl.go 管理文件读写权限 sign_url.go 生成带签名的URL object_tagging.go 对象标签 select_object.go 查询文件 object_meta....
背景信息
接口类型 说明 文件I/O接口 LocalFS支持标准POSIX文件I/O接口，例如 open、read、write、lseek 和 close 等函数，便于进行文件读写操作。目录操作接口 LocalFS支持包括 opendir、readdir 和 closedir 等函数在内的目录操作接口，便于读取和...
背景信息
接口类型 说明 文件I/O接口 LocalFS支持标准POSIX文件I/O接口，例如 open、read、write、lseek 和 close 等函数，便于进行文件读写操作。目录操作接口 LocalFS支持包括 opendir、readdir 和 closedir 等函数在内的目录操作接口，便于读取和...
文件权限说明
规则内容为.png 格式的图片只有资源所有者可以进行文件写操作，所有人可以进行读取操作。第二个规则是针对 xxx/yyy/zzz.jpg 这个特定路径的图片，只有资源所有者可以进行文件读写操作。第三个规则是针对除了前两个规则匹配到的文件之外的...
Java堆分析报错
请检查文件类型是否正确，比如是否将栈文件当作堆文件进行分析 Invalid HPROF file:Expected to read another 可能是JDK Bug导致生成文件问题，请重新生成。可能文件传输问题，请检查源文件大小是否和当前ATP文件大小一致。可能是ATP解析器...
macOS客户端通过VPN访问SMB协议文件系统
文件读取过程中，myshare 可能显示为空，请您耐心等待。通过macOS客户端命令行操作 执行 mount_smbf 命令行挂载SMB协议文件系统。示例如下：mount_smbfs '/guest@nas-mount-point.nas.aliyuncs.com/myshare' /Volumes/myshare/ 其中 nas-...
生命周期管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
集群吞吐性能测试
顺序读取 文件存储 HDFS 版 上面500个大小为4 GB的文件，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOread.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-read-...
FTP数据源
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
OSS常用工具汇总
支持POSIX文件系统的大部分功能，包括文件读写、目录、链接操作、权限、UID、GID、以及扩展属性（Extended Attributes）。支持使用OSS的Multipart功能上传大文件。支持MD5校验，保证数据完整性。使用限制：不支持挂载归档存储、冷归档存储...
函数计算挂载文件系统
通过在函数计算配置NAS文件系统，函数能够以类似于访问本地文件系统的方式操作NAS文件，实现文件持久化存储。该方式不仅可以消除本地磁盘空间的限制，还允许不同的函数实例共享文件数据。本文介绍如何为函数配置NAS。前提条件 已创建NAS...
常见问题
使用ossfs上传到OSS的文件的Content-Type全是application/octet-stream 问题分析：上传文件时，ossfs通过查询/etc/mime.types 中的内容来设置文件的Content-Type。当该文件不存在时，默认设置为application/octet-stream。解决方案：请检查...
配置NAS文件系统
文件存储NAS是一种分布式的网络文件存储系统，为ECS、HPC、Docker、BatchCompute等提供安全、高性能、高可靠、简单易用的文件存储服务。本文介绍如何通过 函数计算 控制台配置NAS文件系统。背景信息 阿里云 函数计算 支持与文件存储NAS无缝...
降低因恶意访问流量导致大额资金损失的风险
修改ACL为私有访问权限 除非您明确要求包括匿名访问者在内的任何人都能读写您的OSS资源，包括存储空间（Bucket）以及文件（Object），否则请勿将Bucket或者Object的读写权限ACL设置为公共读（public-read）或者公共读写（public-read-write...
使用前须知
SMB nas-smb-nas_audit_dashboard 展示NAS文件系统活动信息，包括最近创建、删除、读取、写入的文件列表。费用说明 当Logstore的计费模式为按使用功能计费时，文件存储 NAS（通用型NAS SMB协议及通用型NAS NFS协议）将日志转储到日志服务后...
性能监控FAQ
优化该参数将提升频繁读取文件属性场景的文件系统性能。maxFileToCache 最大缓存的inode数量。优化该参数将提升反复访问海量小文件场景的文件系统性能。prefetchPct、prefetch及write-behind buffer 占用page pool的最大比例。优化该参数将...
Quick BI上传文件入口按钮是灰色的
产品名称 Quick BI 产品模块 数据源 概述...更多信息 目前数据库类型只有mysql、Oracle、maxcompute、SQLserver四种类型数据库，支持本地文件上传，其他数据库会直接没有上传本地文件的入口，如下所示（hive数据库）相关文档 创建文件数据源：...
HttpFile数据源
value指定若当前列的字段类型为常量，那么Reader在处理数据时，不是从源头文件读取数据来填充该列，而是依据您所指定的固定value值自动生成该列的所有数据。默认情况下，您可以全部按照String类型读取数据，配置如下。column":["*"]您可以...
EFC加速NAS或CPFS文件访问
kubectl exec-it efc-app-1-bash-c"time cat/data/allzero-demo>/dev/null"预期输出：real 0m9.970s user 0m0.012s sys 0m2.283s 预期输出表明读取10G文件需要9.970s，读取速度为1034.3 MiB/s。可以看到，没有使用缓存时，数据读取速度为...
使用paiio读写MaxCompute表数据
PAI支持从配置文件读取配置信息，您可以将配置文件放置在挂载的文件系统中，然后在代码中通过环境变量引用。编写配置文件，内容如下。access_id=xxxx access_key=xxxx end_point=http://xxxx 参数 描述 access_id 阿里云账号的AccessKey ID...
RAM凭据插件
credentials_type=client_key#读取client key的凭证口令：支持从环境变量或者文件读取。凭证口令：在应用接入点AAP中创建Client Key时保存的凭证口令（ClientKeyPassword）。client_key_password_from_env_variable=your client key ...
vfs
参数 fd：文件描述符 cmd：文件操作命令 val：依赖 cmd 的参数 返回值 0：成功失败 设置下次读取文件的位置 off_t aos_lseek(int fd,off_t offset,int whence)参数 fd：文件描述符 offset:根据参数 whence 来移动读写位置的位移数 whence:...
Logtail采集详情
读取日志文件时，每次最多可以读取512 KB，因此每条日志的大小请控制在512 KB以内，否则无法正常读取。说明 如果您修改了服务器上的时间，请手动重启Logtail，否则会导致日志时间不正确、意外丢弃日志等现象。处理日志 Logtail读取日志后，...
元数据性能测试
如果为true,则读取文件并报告平均读取时间.默认为false.非必选项>create_write性能测试 使用20个Map，10个Reduce的MapReduce作业，创建1000个文件。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
JindoFuse使用指南
OSS/OSS-HDFS可以通过JindoFuse提供POSIX支持，将OSS/OSS-HDFS上的文件挂载到本地文件系统中，让您能够像操作本地文件系统一样操作OSS/OSS-HDFS上的文件。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需...
授予云备份客户端读取SMB NAS文件权限
由于 云备份 客户端没有读取SMB类型NAS文件的权限，导致 云备份 无法进行备份，此时您需要通过授予 云备份 客户端读取SMB类型NAS文件权限来完成备份。本文介绍在Windows上授予 云备份 客户端读取SMB类型NAS文件权限的操作方法。前提条件 已...
使用PyJindo访问阿里云OSS-HDFS
本文将以两种方式为您介绍如何在Python 3.6及更高版本中，利用Python的工具包...seekable()bool 表示该文件流是否支持随机访问（即能否通过seek()函数改变文件读写位置）。closed()bool 表示该文件流是否已关闭。close()无 关闭当前文件流...
使用前须知
SMB nas-smb-nas_audit_dashboard 展示NAS文件系统活动信息，包括最近创建、删除、读取、写入的文件列表。费用说明 当Logstore的计费模式为按使用功能计费时，文件存储 NAS（通用型NAS SMB协议及通用型NAS NFS协议）将日志转储到日志服务后...
- 产品推荐
- 这些文档可能帮助您