文件存储NAS SMB ACL概述
用户可以在配置了域控制器的Windows或者Linux服务器上，以域用户身份连接并访问SMB文件系统，文件系统服务器可以得到用户的域身份，然后达到目录和文件级别的访问权限控制。NAS SMB ACL创建用户认证及访问控制的流程如下：生成Keytab文件。...
自动优化
自动优化是Delta Engine一组可选特性，当开启该组特性后，Delta Engine会自动合并对Delta表的多次写入产生的小文件，以牺牲部分写性能为代价，大幅提升查询性能。自动优化在这些场景下尤其有用：1）能接受分钟级时延的流式数据入湖；2）常...
挂载访问FAQ
为什么不能改变文件owner，文件和目录mode？并发访问同一文件时，服务器端出现无响应35s现象，该如何处理？为什么SMB文件系统挂载点无响应？为什么无法创建符号链接文件？拷贝大文件时报"cp:error writing 'o/file>':Bad file descriptor...
通过SMC客户端导入迁移源
Excludes 排除不迁移文件目录的配置文件夹。client_data 迁移数据文件，包含ECS中转实例信息和迁移进度等。在适配您迁移源系统版本的SMC客户端文件夹，运行SMC客户端。GUI版本：双击运行go2aliyun_gui.exe应用程序。命令行版本：双击运行go...
查杀木马
云虚拟主机的网站木马查杀功能会定期对您的Web目录文件进行安全扫描，一旦发现高危的网站挂马文件和网站后门文件，将向您发送安全通知。您可以将扫描出的高危文件进行隔离，提高网站内容的安全性和纯净度。本文介绍如何进行网站的木马查杀...
SmartData常见问题
例如，您通过缓存模式写一个大文件，可以在OSS控制台对应目录下找到这个大文件。如果是块缓存模式时，您只能找到很多文件块，这些块只能通过JindoFS SDK 客户端拼接成大文件。如果更新了OSS上的数据，如何保证JindoFS缓存数据的一致性？...
管理接入点
接入点根目录 指定接入点在文件系统中的根目录，可以指定一个NAS内的一个子目录作为接入点根目录。通过接入点访问的用户，访问范围将被限制在此子目录内。限制：必须以正斜线（/）开头。支持数字、大小写字母。可以包含下划线（_）、短划线...
OSS有哪些批量操作？
您也可以直接删除某个文件目录，文件目录内的文件会同时被删除。使用OSS控制台的碎片管理功能，批量删除碎片。详情请参见 删除碎片。生命周期规则 通过生命周期规则批量自动删除您的文件。详情请参见 基于最后一次修改时间的生命周期规则。...
符号版本管理
当您的项目代码需要做打包混淆时，需要上传符号表，进行版本管理。本文介绍制作、上传符号表文件的操作步骤。前提条件 已添加应用。具体操作，请参见 添加应用。符号表格式 Android符号表 xxx.zip|-mapping.txt-存在多个mapping.txt文件时...
表实用程序命令
删除Delta表不再引用的文件 您可以通过在表上运行vacuum命令来删除Delta表不再引用且早于保留阈值的文件。vacuum 不会自动触发。文件的默认保留阈值为7天。警告 vacuum仅删除数据文件，而不删除日志文件。检查点操作后，日志文件将自动异步...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
计费常见问题
通用型NAS 存储容量是指文件系统中所有文件大小的总和（不含目录），单个文件小于4 KiB，按照4 KiB计量；超出4 KiB按4 KiB倍数向上取整。例如，一个文件大小为2 KiB，则计算为4 KiB；一个文件大小为6 KiB，则计算为8 KiB。文件空洞在阿里云...
JindoTable SDK模式归档和解冻命令介绍
表可以是分区表或非分区表。是-i/-a/-ca 目标存储方式。支持如下方式：i：低频（Infrequent Access，IA）存储。a：归档（Archive）存储。ca：冷归档（Cold Archive）存储。如果指定-i 则表示低频存储，会跳过已经处于归档或冷归档存储的...
JindoTable SDK模式归档和解冻命令介绍
表可以是分区表或非分区表。是-i/-a/-ca 目标存储方式。支持如下方式：i：低频（Infrequent Access，IA）存储。a：归档（Archive）存储。ca：冷归档（Cold Archive）存储。如果指定-i 则表示低频存储，会跳过已经处于归档或冷归档存储的...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
DELETE
如果是列存表，系统会在内存中存储一张标记表，然后Flush成标记表文件，标记表文件会记录删除的数据所在的文件号（file id）和行号（row id），然后在Compaction的时候做合并。更多原理请参见 Hologres高性能写入技术揭秘。为了提高删除...
云盘备份数据导入至AnalyticDB MySQL版
说明 如果在下载的文件中表格被存储为多个CSV文件，例如：0-1csv，0-2csv，分析时，只需将url更改为data目录："url":"oss:/bucket/_export/mydb/mytable/data/"，AnalyticDB MySQL版 会将该路径下的文件合并到 mytable 分析表中。...
JindoDistCp使用说明
示例命令如下：hadoop jar jindo-distcp-tool-${version}.jar-src/data/hourly_table-dest oss:/example-oss-bucket/hourly_table 您可以通过指定dest路径来确定拷贝后的文件目录。如果您需要将/data/hourly_table下的文件拷贝到example-...
导入历史日志文件
您需要在Logtail的安装目录下执行导入历史日志文件的操作，该安装目录在不同操作系统中位于不同位置，具体说明如下表所示。操作系统 Logtail Logtail安装目录 Linux Logtail（64位程序）/usr/local/ilogtail Windows（64位操作系统）...
性能说明FAQ
原因分析 执行目录遍历操作时，如果此目录同时正在被修改（如创建、删除、重命名文件），目录遍历会由于缓存频繁失效而响应非常慢。对大目录执行目录遍历操作时，目录遍历会由于缓存淘汰而响应非常慢。解决方案 避免目录体量过大，控制单...
RDS MySQL物理备份文件恢复到自建数据库
本文介绍如何使用Percona XtraBackup工具，将RDS MySQL的物理备份文件恢复到自建数据库。背景 RDS MySQL支持将实例备份文件恢复到自建数据库，当前支持物理备份文件恢复、逻辑备份文件恢复等多种方式。如何选择数据恢复方案，请参见 数据...
多台ECS实例批量挂载同一NAS文件系统
如果您的业务场景需要多台ECS实例共享同一NAS文件系统中的数据，您可以通过云助手仅执行一次操作，实现多台ECS实例批量挂载同一NAS文件系统。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。网络环境 当您的业务的网络符合或...
高级配置：内存缓存本地目录
该目录可以是OSS或NAS中的加速文件挂载到容器中的挂载路径，也可以是挂载路径下的子目录，或者是容器内的其他普通文件目录。mount_path 加速文件的挂载目录，该目录内的文件内容和源目录保持一致，业务程序需从该目录中读取模型。配置说明 ...
HDFS数据源
离线写 HDFS Writer提供向HDFS文件系统指定路径中写入TextFile文件、ORCFile文件以及ParquetFile格式文件，文件内容可以与Hive中的表关联。目前HDFS Writer支持大部分Hive类型，请注意检查您的数据类型。HDFS Writer针对Hive数据类型的转换...
创建Hadoop计算源
其他配置文件 上传keytab文件，您可以在HDFS集群中的NameNode节点使用ipa-getkeytab命令获取keytab文件。任务执行机器 配置MapReduce或Spark Jar的执行机器的连接地址。格式为 hostname:port 或 ip:port，port默认为22。MR日志路径 yarn...
OSS-HDFS数据源
全部写入后，将临时目录下的文件移动到您指定的目录（在创建文件时保证文件名不重复）。删除临时目录。如果在此过程中，发生网络中断等情况造成无法与OSS-HDFS建立连接，需要您手动删除已经写入的文件和临时目录。支持的字段类型 离线读 ...
RefreshObjectCaches-刷新缓存
刷新任务从提交到生效，大约需要 5~6 分钟，如果文件或者目录配置的缓存过期时间少于 5 分钟，您无需执行刷新操作，等待文件或者目录缓存超时更新即可。使用 RAM 用户来执行刷新或预热操作的，需要先获得授权，请参见 授予 RAM 用户刷新...
常见问题
同时CPFS支持ACL功能，可以针对文件或目录配置ACL访问权限控制。CPFS的数据可靠性如何？CPFS文件系统后端数据采用多副本冗余机制，可以提供99.9999999%（9个9）的数据持久性。CPFS的可服务性SLA是多少？CPFS服务可用性不低于99.9%。CPFS...
使用说明
您可以通过Tunnel直接上传数据到MaxCompute内部表，或者是通过OSS Python SDK上传到OSS后，在MaxCompute使用外部表做映射。关于外部表详情请参见 概述。Tunnel命令不支持上传下载ARRAY、MAP和STRUCT类型的数据。每个Tunnel的Session在服务...
目录配额
当您需要对通用型NAS文件系统中某个目录所能包含的文件数量或者文件大小或者某个用户所能使用的资源进行限制时，您可以通过配额管理功能中的目录配额或用户配额进行配置。同时，同一个路径下，您还可以为多个用户设置不同的资源配额。前提...
挂载文件系统失败故障排查
当挂载文件系统失败后，优先推荐您通过自动脚本或排查思路定位问题。部分挂载操作的报错，自动检查脚本无法排查处理，NAS也提供了常见报错FAQ便于您查阅。本文介绍云服务器ECS挂载NAS文件系统时，挂载失败的排查方法与解决方案。重要 在...
使用OSS Foreign Table进行数据湖分析
功能介绍 OSS FDW基于PG FDW（PostgreSQL Foreign Data Wrapper）框架进行开发，通过OSS FDW，您可以进行如下操作：将OSS数据导入本地表（行存表或列存表）进行分析加速。直接查询分析OSS的海量数据。OSS外表与本地表关联分析。OSS FDW支持...
Linux系统挂载NFS协议文件系统
您可以把NAS文件系统当作一个普通的目录来访问和使用，示例如下：自动挂载NFS协议文件系统 为防止服务器重启后，导致无法查看NAS中的文件，建议您在手动挂载成功后，配置自动挂载文件系统。如果您使用的是极速型NAS，请执行以下命令。如果...
刷新和预热资源
通过刷新功能，您可以删除 CDN 节点上已经缓存的资源，并强制 CDN 节点回源站获取最新资源，适用于源站资源更新和发布、违规资源清理、域名配置变更等；通过预热功能，您可以在业务高峰前预先将热门资源缓存到 CDN 节点，降低源站压力提升...
Hadoop使用JindoSDK访问OSS-HDFS服务
对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。关于OSS-HDFS服务的应用场景、服务特性、功能特性等更多信息，请参见 什么是OSS-HDFS服务。步骤一：创建专有...
在Linux云电脑挂载CPFS文件系统
挂载成功后，您可以在云电脑上把CPFS文件系统当作一个普通的目录来访问和使用。本文介绍将CPFS文件系统挂载到云电脑的相关操作。背景信息 文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足AI...
使用Fuse-DFS挂载文件存储 HDFS 版
执行以下命令在已映射 文件存储 HDFS 版 文件系统的本地目录中创建文件，创建成功后，您可以在 文件存储 HDFS 版 文件系统上查看到该文件。cd/mnt/dfs_mount mkdir fuse_test echo"hello dfs">fuse_test/fuse.txt 可选：卸载挂载目录。...
创建及管理数据集
阿里云PAI提供数据集管理模块，支持将各类数据（公共数据集、阿里云云产品中的数据等）创建为数据集，也支持扫描OSS文件夹生成索引数据集，为智能标注、模型训练做准备。本文介绍如何创建数据集和管理数据集。功能介绍 数据集管理模块提供...
集成概览
本文为您介绍文件存储 CPFS支持的集成方案。OpenAPI集成 文件存储 CPFS提供文件系统、权限组、挂载点、数据流动、协议服务、Fileset等功能的OpenAPI，您可在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用OpenAPI。版本说明 ...
高级配置
id www uid=1000(www)gid=1000(web)groups=1000(web)ossfs bucket_name mount_point-ourl=endpoint-oallow_other-ouid=1000-ogid=1000-omp_umask=007 挂载指定文件目录 ossfs除了可以把整个存储空间挂载到本地文件系统外，还可以通过设置...
- 产品推荐
- 这些文档可能帮助您