通用型NAS计费
文件空洞是指由重复的0填充而没有实际写入文件的字节，一般通过truncate、lseek或fallocate命令创建。当开启回收站功能后，在文件保留时间内回收站中暂存的文件将按照原存储类型计费。即删除容量型文件系统中的文件后，该文件暂存在回收站...
流式数据通道概述
解决高并发抢锁导致流式服务不可用，避免 batch size 太小导致MaxCompute产生大量小文件的问题。流式存储服务（DataHub、Kafka）实时同步MaxCompute 消息服务实时同步MaxCompute解除并发数及 batch size 的限制。解决消息服务实时同步到...
时序引擎版本说明
修复历史文件的存储容量没有达到最大上限时无法迁移至冷存储的问题。修复查询操作可能出现的栈溢出问题。修复string类型的field会导致compaction异常的问题。3.4.4 2021年12月14日 新特性 SQL支持IF EXISTS语法。SQL支持SHOW PRIVILEGES和...
OSS挂载
B)InputMapping 挂载文件的访问权限 考虑到多个节点向 OSS 写入文件的一致性问题，InputMapping 挂载服务本身针对 OSS 是只读行为；应用程序通过文件系统接口的操作，在 任何情况 下都不会修改 OSS 上对应文件的内容，也不会删除 OSS 上的...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作...如果在数据迁移过程中，有并发的写者写入，文件F的长度将超过L，但是数据迁移任务无法感知到最新写入的数据。因此，建议当您在做数据迁移时，请避免往迁移的文件中写入数据。
整库离线同步至OSS
说明 当上一步骤中 写入单个文件 开关为关闭状态时，即单表写入OSS多个文件时，此处的OSS文件名为写入OSS文件的前缀名称，实际写入的文件名会添加随机字符串。功能 描述 文件建立方式 写入OSS时的文件建立方式，支持写入已有文件或自动建立...
FS-文件系统
入参 属性 类型 是否必填 描述 path String 是 写入文件的路径和名称。data String 是 读取到的数据。options Object 是 请参见下面的 options 说明。options 说明：属性 类型 是否必填 描述 flag String 否 当flag选项采用字符串时，则...
自动优化
说明 详细内容可参考Databricks官网文章：自动优化 自动优化的工作原理 自动优化包含两个重要特性：优化Delta表的写入 在开源版Spark中，每个executor向partition中写入文件时，都会创建一个文件进行写入，最终会导致一个partition中包含...
集群吞吐性能测试
Total MBytes processed：写入的文件的总大小。Test exec time sec：消耗的时长。计算集群吞吐。您可以通过以下两种方式计算集群吞吐。通过统计信息文件计算吞吐。集群的吞吐约为Total MBytes processed/Test exec time sec=985.16 MB/s ...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
配置OSS输出组件
写入文件个数 目标端OSS的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端OSS的单个文件中。多个文件：将写入目标端OSS的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 等；也可选择生成...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
配置Amazon S3输出组件
写入文件个数 目标端Amazon S3的文件写入策略。支持写入单个文件和多个文件。单个文件：将写入目标端Amazon S3的单个文件中。多个文件：将写入目标端Amazon S3的多个文件中。同时需要配置后缀格式，格式可选择生成序列后缀，如_0、_1、_2 ...
Windows应用程序
IIS 服务在阿里云NAS上的最佳实践 通过安装和配置AD域解决Windows Server 2016的IIS无法加载SMB文件卷文件的问题 Windows容器 Windows容器使用阿里云NAS SMB文件系统做持久化存储目录 阿里云ACK服务使用Windows容器挂载NAS SMB最佳实践 ...
OSS-HDFS数据源
对于text类型，需要保证写入OSS-HDFS文件的分隔符与在Hive上创建表时的分隔符一致，从而实现写入OSS-HDFS数据与Hive表字段关联。实现过程 OSS-HDFS Writer的实现过程如下所示：根据您指定的path，创建一个OSS-HDFS文件系统上不存在的临时...
FTP数据源
否 TEXT header header:txt文本（包括csv、text等）写出时的表头，脚本模式支持配置表头信息，例如"header":["id","name","age"]，表示将id、name、age作为表头写入ftp文件的第一行。否 无 markDoneFileName 标档文件名，同步任务结束后...
inventory（清单）
添加清单规则 添加清单规则步骤如下：生成RAM角色，该角色需拥有读取源Bucket所有文件和向目标Bucket写入文件的权限。配置角色的步骤请参见 创建可信实体为阿里云服务的RAM角色。创建本地文件，并在文件中配置XML格式的清单规则。ossutil先...
使用前须知
SMB nas-smb-nas_audit_dashboard 展示NAS文件系统活动信息，包括最近创建、删除、读取、写入的文件列表。费用说明 当Logstore的计费模式为按使用功能计费时，文件存储 NAS（通用型NAS SMB协议及通用型NAS NFS协议）将日志转储到日志服务后...
边缘文件服务接口说明
2.1文件增加 接口定义 path Content-Type POST/home/paas/file/add form-data 入参 字段 类型 是否必传 备注 filePath Text 是 文件写入路径 file File 是 文件流 expire Long 可选 文件最短保存时间，单位是秒，默认是2小时。可设置的范围...
使用前须知
SMB nas-smb-nas_audit_dashboard 展示NAS文件系统活动信息，包括最近创建、删除、读取、写入的文件列表。费用说明 当Logstore的计费模式为按使用功能计费时，文件存储 NAS（通用型NAS SMB协议及通用型NAS NFS协议）将日志转储到日志服务后...
预读和预扩展
将Buffer Pool中已经构建好的索引页写入文件系统中。使用指南 堆表预读 堆表预读的参数名为 polar_bulk_read_size，功能默认开启，默认大小为128 KB。说明 不建议用户自行修改该参数，128 KB是贴合PFS的最优值，自行调整并不会带来性能的...
预读和预扩展
将Buffer Pool中已经构建好的索引页写入文件系统中。使用指南 堆表预读 堆表预读的参数名为 polar_bulk_read_size，功能默认开启，默认大小为128 KB。说明 不建议用户自行修改该参数，128 KB是贴合PFS的最优值，自行调整并不会带来性能的...
读写访问文件类问题
执行正常的write操作，此时写入位置应该是文件的末尾，并且由于有文件锁的保护，不会出现并发写入相互覆盖的问题。写操作执行完成后，调用flock(fd,LOCK_UN)释放文件锁。使用Linux操作系统在NFS协议文件系统中执行 ls 命令时，为什么会返回...
如何避免循环触发？
一个典型的循环触发场景是OSS的某个Bucket上传文件触发了一个函数，这个函数处理事件，又生成了一个或多个文件，写回到OSS的Bucket里，这个写入动作又触发了函数执行，形成了链状循环。上述过程类似于一个无限递归，为了避免这种循环触发...
如何避免循环触发？
一个典型的循环触发场景是OSS的某个Bucket上传文件触发了一个函数，这个函数处理事件，又生成了一个或多个文件，写回到OSS的Bucket里，这个写入动作又触发了函数执行，形成了链状循环。上述过程类似于一个无限递归，为了避免这种循环触发...
函数计算挂载文件系统
步骤三：验证NAS挂载是否成功 执行完 步骤二，完成文件的写入和读取，您可以登录实例查看函数本地目录下的文件情况，同时可以在NAS控制台查看NAS的使用量验证是否成功。查看配置的函数本地目录下的文件，确认是否与函数代码操作的文件信息...
使用Flume写入JindoFS
例如：在使用默认值时，如果文件的写入路径是：oss:/test-bucket/dir1/file1，则Staging的路径为 oss:/test-bucket/tmp/dir1/file1。保存配置。单击右上角的 保存。在 确认修改 对话框中，输入 执行原因，开启 自动更新配置。单击 确定。...
表实用程序命令
日志文件的默认保留期为30天，可通过使用ALTER TABLE SET TBLPROPERTIES SQL方法设置的delta.logRetentionPeriod属性进行配置。请参阅表属性。运行vacuum后，无法再按时间顺序查看在保留期之前创建的版本。SQL%sql VACUUM eventsTable-...
将Excel的数据导入数据库
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据；REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
导入数据
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据。REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
数据导入
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据。REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
开启CNFS NAS计算端分布式缓存
分布式缓存关键性能指标 指标 测试场景 ① 未开启分布式缓存 开启分布式缓存 元数据性能 100万文件目录遍历耗时 18min 小于60s 创建写入4 KB文件耗时 3000μs 小于200μs 重复读取4 KB文件耗时 400μs 小于100μs 吞吐性能 单节点读写吞吐...
安装树莓派系统
将写入镜像文件的TF卡插入Raspberry PI硬件，连接电源、显示器、鼠标和键盘。说明 支持插入以太网网线，也支持Wi-Fi接入。推荐您优先使用以太网网线。有关硬件连接方法请参见 树莓派使用指南。启动系统。硬件连接完成后，系统自动启动显示...
0041-00000203
问题描述 请求触发镜像回源时，数据无法写入OSS。问题原因 Bucket处于被保护状态时，无法向该Bucket写入文件。问题示例 无 解决方案 确保回源文件写入的Bucket未处于保留策略的保护状态。相关文档 镜像回源 保留策略
文件网关的缓存有什么作用
本地客户端通过文件网关向OSS上传文件时，数据会先写入文件网关的缓存。当文件完全写入缓存并关闭后，文件网关会将缓存中的文件上传至OSS。如果在上传过程中有新的文件写入缓存，上传过程将会中断，等待文件完全写入缓存并关闭后，上传才会...
如何避免多进程/多客户端并发写同一日志文件可能出现...
执行正常的写操作，此时写入位置应该是文件的末尾，并且由于有文件锁的保护，不会出现并发写入相互覆盖的问题。写操作执行完成后，调用flock(fd,LOCK_UN)释放文件锁。下面是一个简单的C语言示例程序：#define_GNU_SOURCE#include<stdlib.h>...
写入文件提示无法满足最小写入副本要求
本文介绍写入文件提示无法满足最小写入副本要求问题的原因和解决方案。具体报错 报错信息如下所示。其中，【X】是当前正在运行的DataNode数量，【Y】是被排除在此操作之外的DataNode数量。org.apache.hadoop.ipc.RemoteException(java.io....
挂载访问FAQ
为什么写入文件系统的中文字符在客户端显示为乱码?使用Linux操作系统在NFS文件系统中执行ls命令时，为什么会返回523错误？挂载NFS文件系统时，返回mount.nfs:No such device该如何处理？如何解决服务器开机自启动挂载NFS文件系统失败？挂载...
文件
输入参数[string]mode：写入文件的模式。write：表示写文件，若文件不存在则创建文件，若文件已存在则报错：error:FILE_EXIST。append：表示在文件末尾追加内容，若文件不存在则创建文件。overwrite：表示覆盖文件，文件不存在则创建文件，...
存储空间占用情况
重要 通过delta增量文件的方式写入或修改文件的空洞占用情况作为OSS标准存储容量进行统计，不支持通过hdfs du命令进行统计和查看。OSS-HDFS 审计日志数据 OSS-HDFS服务对文件读写请求操作都通过审计日志进行记录。审计日志保存在Bucket中，...
- 产品推荐
- 这些文档可能帮助您