集成对象存储OSS
集成输出 {"bucket":"theBucketName","key":"map/test.txt"} 获取某个文件的元信息 集成示例.-Type:Task Name:ossRead Action:OSS:GetObjectMeta TaskMode:RequestComplete Description:读取OSS元数据示例 Parameters:region:...
快照原理
云盘的数据写入和修改不会对已创建的快照造成影响，快照也不会影响原云盘的数据。快照创建完成后，将存储在对象存储OSS中。在OSS支持同城冗余的地域，将默认使用同城冗余OSS来存储您的快照数据，以最大程度保证您快照数据的冗余性。在OSS暂...
vfs
参数 fd：文件描述符 nbytes：需要读取的字节数 buf：读取到缓冲区的指针 返回值 实际读取到的字节数 0：读取数据到达文件结尾失败 向文件写入内容 ssize_t aos_write(int fd,const void*buf,size_t nbytes);参数 fd：文件描述符 nbytes：...
Spark的数据写入至Hologres
CREATE TEMPORARY VIEW csvTable(c_custkey bigint,c_name string,c_address string,c_nationkey int,c_phone string,c_acctbal decimal(15,2),c_mktsegment string,c_comment string)USING csv OPTIONS(path"resources/customer1.tbl",sep...
分析外部OSS上的数据
以ODPS（MaxCompute）兼容模式建表和读取数据。示例如下：SET imci_oss_scan_odps_compatible=on;CREATE FOREIGN TABLE `test` FROM CONNECTION='oss:/${oss_key}:${oss_key_secret}@oss-...
查看消息引擎监控信息
实例监控 展示消息引擎维度的相关监控，例如实时写入流量、实时读取流量和实时消息写入数等。Topic监控 展示Topic维度的监控，可以指定Topic查看。例如查看指定Topic的实时写入流量、实时读取流量和实时消息写入数等。Group监控 展示消费者...
CreateDataFlowTask-创建数据流动任务
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
ORC文件
Object 为上传到OSS上的文件的访问路径。例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/...
JindoData版本说明
JindoSDK和工具支持 JindoSDK支持CRC和MD5 Checksum校验，支持文件级别以及数据块级别的写入校验。支持Jindo Sync数据同步工具，您可以不依赖Hadoop环境进行数据同步。JindoSDK支持OSS-HDFS TensorFlow Connector。JindoData 4.5.X版本 ...
设置列索引的排序键
CREATE TABLE customer(c_custkey BIGINT NOT NULL,c_name VARCHAR(25)NOT NULL,c_address VARCHAR(40)NOT NULL,c_nationkey BIGINT NOT NULL,c_phone CHAR(15)NOT NULL,c_acctbal DECIMAL(15,2)NOT NULL,c_mktsegment CHAR(10)NOT NULL,c_...
日志组（LogGroup）
日志组（LogGroup）是一组日志的集合，是写入与读取日志的基本单元。一个日志组中的数据包含相同Meta（IP地址、Source等信息）。写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该...
OSS存储读写分离最佳实践
max_stat_cache_size 用于指定文件元数据的缓存空间可缓存多少个文件的元数据。单位为个，默认值为1000。如需禁止使用元数据缓存，可设置为0。在不需要实时访问最新内容的场景下，当目录下文件比较多时，可以根据实例规格增加支持的缓存...
实例自定义数据
cat userdata_test.txt 运行效果和内容有关，向指定文件写入系统时间的效果如下图所示。脚本使用示例 示例一：使用User-Data脚本自定义yum源、NTP服务和DNS服务 系统会在实例启动时自动配置默认的yum源、NTP服务和DNS服务，您可以使用实例...
挂载访问FAQ
为什么两台ECS实例在查询NAS文件系统中同一文件时，文件的属主不同？为什么写入文件系统的中文字符在客户端显示为乱码?使用Linux操作系统在NFS文件系统中执行ls命令时，为什么会返回523错误？挂载NFS文件系统时，返回mount.nfs:No such ...
NFS协议
但是，一旦ECS-1打开一个文件，写入若干数据，然后执行了文件关闭操作，之后在任何一个计算节点重新打开该文件都可以保证能访问到新写入的数据。例如，生产者ECS生产了文件X，生产完毕后执行了close。然后给消息队列发一条消息说，文件X...
DeleteDownloadTask-删除文件下载任务
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
DescribeWebLockFileTypeSummary-查询WebLock文件类型...
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
常用错误码ErrorCode
1000 IO 通信错误 检查文件的输入输出-1001 读取文件数据失败 检查待读取文件是否正确-1002 写文件数据失败 检查待写数据是否正确，是否有写入数据权限-1003 路径错误 检查路径是否存在，是否有写入数据权限-1100 文件解析错误 检查待解析...
简介
您可以通过NFS ACL实现给不同的用户和群组设置不同目录或文件的权限。本文简要介绍POSIX ACL和NFSv4 ACL的概念、注意事项及通过控制台开启NFS ACL。背景信息 企业级用户通过共享文件系统在多个用户和群组之间共享文件时，权限的控制和管理...
TDE透明数据加密
ENCMDEK和KEK_HMAC需要保存在共享存储上，用来保证下次启动时RW和RO都可以读取该文件，获取真正的加密密钥。其数据结构如下：typedef struct KmgrFileData {/*version for kmgr file*/uint32 kmgr_version_no;Are data pages encrypted?...
数据操作
您也可以通过配置文件插入数据，命令格式如下：Windows平台 put-i D:\\localpath\\filename.json Linux和Mac平台 put-i/localpath/filename.json 配置文件的示例如下：{"PK":{"Values":["86",6771]},"Attr":{"Values":[{"C":"age","V":32,...
TDE透明数据加密
ENCMDEK和KEK_HMAC需要保存在共享存储上，用来保证下次启动时RW和RO都可以读取该文件，获取真正的加密密钥。其数据结构如下：typedef struct KmgrFileData {/*version for kmgr file*/uint32 kmgr_version_no;Are data pages encrypted?...
ListDirectoriesAndFiles-查询目录和文件列表
获取通用型NAS指定目录下的低频存储文件和包含低频存储文件的子目录列表。接口说明 仅通用型 NAS 文件系统支持该功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
RenameDbfs-重命名数据库文件系统
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
使用JindoFuse挂载访问
utimes()修改文件的存储时间和更改时间。setxattr()修改文件的xattr属性。getxattr()获取文件的xattr属性。listxattr()列举文件的xattr属性。removexattr()删除文件的xattr属性。lock()支持posix锁，类似 fcntl。fallocate()为文件预分配...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
PTS在并发和RPS模式下读取多文件参数的方式
本文介绍在并发模式和RPS模式下，PTS读取多文件参数的方式。并发模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准...
AttachDbfs-挂载数据库文件系统
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
PTS在虚拟用户和RPS模式下读取多文件参数的方式
本文介绍在虚拟用户模式和RPS模式下，PTS读取多文件参数的方式。虚拟用户模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该...
NAS性能测试
读取和写入的值可以以read、write格式单独指定，其中任何一个都可以为空以将该值保留为其默认值。size 表示测试文件大小。FIO会将指定的文件大小全部读/写完成，然后才停止测试，除非受到其他选项（例如运行时）的限制。如果未指定该参数，...
配置同步任务
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
ModifyFileset-修改文件集
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
DescribeDataFlowTasks-查询数据流动任务列表
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
CreateSnapshot-创建快照
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
图像分类训练（torch）
使用 读OSS数据-1 和 读OSS数据-2 组件分别读取训练数据标注结果文件和验证数据标注结果文件，即配置 读OSS数据 组件的 OSS数据路径 参数为存放训练数据标注结果文件和验证数据标注结果文件的OSS路径。将以上2个 读OSS数据 组件接入 图像...
JindoFuse使用指南
支持 支持 utimes()修改文件的存取时间和更改时间 不支持 支持 setxattr()修改文件xattr属性 不支持 支持 getxattr()获取文件xattr属性 不支持 支持 listxattr()列举文件xattr属性 不支持 支持 removexattr()删除文件xattr属性 不支持 支持...
CreateFileset-创建文件集
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
深度解析Lindorm搜索索引（SearchIndex）特性
那么在第二次写入c2的值时，需要读出原始的c1值，才能够拼接出完整的索引数据c1，c2。MUTABLE_ALL（成本最高）写入数据时，业务自定义时间戳（User-Defined Timestamp）。例如：全量任务和增量并存的场景，往往需要在全量任务时携带时间戳...
- 产品推荐
- 这些文档可能帮助您