使用须知
文件网关须知 建议不要频繁中断大文件拷贝到NFS或SMB共享文件夹。由于后台的分段上传机制，中断大文件拷贝会造成碎片遗留在OSS。这些碎片会影响OSS的空间统计，造成OSS空间统计略大于看到的文件总量。通过OSS的碎片自动删除策略，可以帮助...
Java库管理
org.apache.poi:poi-ooxml:3.15,redis.clients:jedis:3.1.0 方式3：spark.files 说明 spark.files 用来指定 file文件，多个file文件以逗号分隔，下图示例展示如何使用spark.files读取配置文件链接MySQL。将conf.properties文件上传到OSS 2....
堡垒机
事件类型 值 含义 cmd.Command 命令字符 cmd.Command.policy 被控制策略处理过的命令 graph.Text 图形文字 graph.Keyboard 图形键盘事件 file.Upload 上传文件 file.Download 下载文件 file.Rename 重命名文件 file.Delete 删除文件 file....
文件数据源
说明 选中 首行作为参数名 后，PTS读取参数文件时将跳过第一行的数据。选中后无需手动定义参数名。若未选中此项，则需根据业务场景定义每列数据的参数名。方式二：通过配置OSS文件创建。具体操作，请参见 创建OSS数据源。
文件数据源
说明 选中 首行作为参数名 后，PTS读取参数文件时将跳过第一行的数据。选中后无需手动定义参数名。若未选中此项，则需根据业务场景定义每列数据的参数名。方式二：通过配置OSS文件创建。具体操作，请参见 创建OSS数据源。
导入OSS数据
文件大小 相同数据总量的情况下，平均文件大小越大，读取吞吐越高。反之，小文件越多，读取吞吐越低。网络 如果OSS Bucket和日志服务Project处于同一地域，可节省公网流量且传输速度快。跨地域导入时，读取OSS文件受网络影响较大，性能相对...
文件存储CPFS监控概述
通过查看文件存储CPFS文件系统的容量监控和性能信息，您可以了解文件系统的存储容量使用情况和读写吞吐、读写IOPS等情况。通过为文件系统的重要监控指标设置报警规则，您可以及时获知指标异常并快速处理异常。本文介绍文件存储CPFS支持的...
文件存储
使用示例 文件转文本 文本转文件 插入文件 删除文件 文件转文本/*文件转文本*@param file 文件*@return 文本*/public String file2String(File file){ InputStreamReader reader=null;StringWriter writer=new StringWriter();try {/使用...
将NAS数据迁移至本地
Username 中转节点ECS的用户名，且该用户拥有读写NAS文件系统目录的权限。例如，root。说明 Linux ECS实例的默认用户名为：root或ecs-user。Windows ECS实例的默认用户名为：administrator。Password 中转节点ECS的登录密码。例如，root...
使用NFSv4 ACl对POSIX文件系统进行权限管理
目录和文件权限ACL用于定义用户或用户组被授予的访问权限。本文介绍在使用CPFS-POSIX客户端挂载的CPFS文件系统上，如何设置NFSv4 ACL来进行文件或目录权限管理。前提条件 已完成挂载CPFS文件系统。具体操作，请参见 快速入门（CPFS-POSIX）...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
使用限制
资源限制 阿里云DBFS在资源使用上的限制如下表所示：资源 限制说明 每个文件系统的挂载点数量 上限16个挂载点同时共享式读写。每个账号在单个区域内可创建的文件系统数量 20个。客户端限制 阿里云DBFS客户端的限制：最多可同时打开 65535 ...
概述
本文简要说明非阿里云数据迁移至阿里云文件存储NAS的费用说明、操作流程及迁移工具选择。费用说明 非阿里云数据迁移至阿里云NAS时，会涉及如下费用：文件存储NAS存储费用，推荐购买资源包抵扣。关于NAS的计费详情，请参见 计费概述。如果您...
NFSv4 ACL特性
例如，用户1001（属于群组players）在文件file中具备如下ACL，为用户player增加W权限的ACE后，新的ACE不会与旧的ACE合并。旧ACE权限#NFSv4 ACL#owner:root#group:root special:everyone@:allow:FileInherit:DirInherit(-)READ/LIST(-)WRITE...
Parquet（推荐）
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
查看CPFS容量监控
文件数：包括最大文件数、已分配文件数、已使用文件数、Fileset已分配文件数、Fileset已使用文件数、root Fileset已分配文件数、root Fileset已使用文件数。说明 root Fileset是文件系统的根Fileset，文件系统中独立创建的Fileset以外的...
使用星环TDH作为元仓计算引擎进行元仓初始化
Keytab File：上传Keytab File文件进行Kerberos认证。Principal：Kerberos认证的Principal名。元数据库配置 元数据获取方式 支持元数据库和HMS（Hive Metastore Serivce）方式获取元数据。使用HMS方式获取元数据库，若集群配置认证方式为...
如何选择合适的文件系统？
阿里云 文件存储 NAS 和文件存储CPFS 提供各种类型的文件系统，您可以根据业务负载选择其中一种或几种文件系统，为业务负载提供必要的可靠性、安全性和持续性。适用的业务场景 通用性能型 NAS：Linux/Windows企业应用、容器...
应用场景
本文介绍文件存储NAS数据存储的主要应用场景。企业应用上云 阿里云NAS提供标准的NFS和SMB接口，云下建立在NAS上的应用程序可以轻松迁移到阿里云。阿里云NAS基于云原生架构，具有99.95%高可用性，PB级容量弹性，同时支持目录配额、ACL、回收...
OSS数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } OSS Reader脚本Demo：ORC或Parquet文件读取OSS 目前通过复用HDFS Reader的方式完成OSS读取ORC或Parquet格式的文件，在OSS Reader已有参数的基础上，增加了 Path、FileFormat 等...
新建ArgoDB计算源
选择了Kerberos认证后，需要上传Keytab File认证文件及配置Principal地址：Keytab File：需要上传Keytab File文件进行Kerberos认证。Principal：对应的Kerberos认证用户名。选择了无认证后，需要配置访问HDFS的用户名。d.配置ArgoDB配置...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
文件存储NAS SMB ACL概述
应用向文件系统发出文件系统访问，读写及其它请求。文件服务器向用户系统返回文件访问结果。文件访问控制由文件系统服务器执行。文件服务器根据Session的用户信息和文件系统的目录或文件的访问权限配置，允许或者拒绝用户访问。
文件系统存储类型
大数据分析 低频存储可以为基因测序数据、GIS地理信息数据、票据影像数据和音频录音文件数据等海量非结构化的数据提供低成本、大容量的存储空间，同时还可以实时访问数据。备份存储 若您使用通用型NAS作为MySQL、Redis、MongoDB等数据库的...
常见问题
本文介绍了文件存储NAS产品简介中的常见问题。什么是文件存储NAS？阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸...
基础管理FAQ
如何快速删除文件系统中过大的存储文件数据？无相互包含关系的子目录可以并行删除，您可以同时开启多个终端，进入NAS挂载目录（例如/mnt），然后执行 rm-rf 命令，删除没有相互包含关系的子目录。NAS能否切换VPC？说明 通用型NAS可以添加两...
配置本地存储
文件 File 文件，不存在则容器启动失败。Socket Socket 标准Unix Socket文件，不存在则容器启动失败。CharDevice CharDevice 字符设备文件，不存在则容器启动失败。BlockDevice BlockDevice 块储存设备文件，不存在则容器启动失败。...
后续操作
默认：默认1000个文件/秒，实际速度取决于文件大小和文件数量。指定上限：最高2000个文件/秒，如需要更高每秒迁移文件数请联系售后技术支持。单击 确定，即可完成修改。增量迁移 您可以按照以下操作步骤迁移增量文件。登录 数据在线迁移...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
查看低频/归档存储文件
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏，选择 生命周期管理>低频/归档存储文件管理。在...
文件URL处理
场景一，使用本地文件/$file="/tmp/bankCard.png;场景二，使用任意可访问的url$file="https://viapi-test-bj.oss-cn-beijing.aliyuncs.com/viapi-3.0domepic/ocr/RecognizeBankCard/yhk1.jpg";ossUrl=ViapiUtils:upload($accessKeyId,$...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，...
创建数据取回任务
如果您需要频繁访问低频介质中存储的文件，建议您创建数据取回任务，将指定文件或目录中的数据取回至通用型NAS存储空间，避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时，NAS会根据目标文件...
使用Robocopy工具迁移数据
本文介绍如何使用robocopy工具实现阿里云文件存储NAS SMB协议文件系统之间的数据迁移。前提条件 拥有一个存有数据的SMB协议文件系统，并且拥有一个专有网络类型挂载点。背景信息 Robocopy是Windows系统自带的目录复制命令，该功能可以创建...
ECS实例挂载同一NFS文件系统出现数据不同步的情况
问题描述 当您使用两个ECS实例挂载同一个NFS文件系统，在ECS A实例上追加写文件，在ECS B实例上使用 tail-f 命令查看文件内容的变化时，在ECS A实例上写完之后，在ECS B实例上查看文件内容变化会有10~30秒的延时。然而相同的场景下，如果...
目录配额
当您需要对通用型NAS文件系统中某个目录所能包含的文件数量或者文件大小或者某个用户所能使用的资源进行限制时，您可以通过配额管理功能中的目录配额或用户配额进行配置。同时，同一个路径下，您还可以为多个用户设置不同的资源配额。前提...
计费项
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...
功能特性
管理Fileset 目录配额 管理文件系统中某个目录所能包含的文件数量或者文件大小或者某个用户所能使用的资源 目录配额 生命周期管理 阿里云文件存储通用型 NAS 推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到...
性能监控
您可以通过阿里云云监控来监控文件系统读请求频率、读取请求大小、每秒读取字节数、存储空间等。并通过设置报警规则，及时获取异常信息。本文介绍如何查看性能监控详情及创建报警规则。前提条件 已创建 文件存储 HDFS 版 文件系统。具体...
- 产品推荐
- 这些文档可能帮助您