HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
基于ECI的弹性推理
模型训练完成后，通常会被部署成推理服务。推理服务的调用量会随着业务需求动态变化，这就需要服务器能弹性扩缩容来节省成本。在大规模高并发的节点需求情况下，常规的部署方案无法满足此类需求。阿里云提供了基于弹性容器实例ECI（Elastic...
获取存储空间的访问权限
存储空间的读写权限（ACL）有以下三类：访问权限 描述 访问权限值 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。private 公共读 存储空间的拥有者和授权用户有该存储空间内的...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
通用型NAS计费
按量付费：费用=每小时归档存储最大存储容量（峰值）×月单价÷30（天）÷24（小时）归档存储不足规定时长容量 针对归档存储类型的文件，如果存储时间不足60天（即1440小时）被删除或缩小文件大小，将会收取原归档文件大小剩余时间（1440-...
基于ECS的弹性推理
模型训练完成后，通常会被部署成推理服务。推理服务的调用量会随着业务需求动态变化，这就需要服务器能弹性扩缩容来节省成本。在大规模高并发的节点需求情况下，常规的部署方案无法满足此类需求。阿里云容器服务提供了弹性节点池，可以基于...
转换文件存储类型
OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件（Object）的存储类型。注意事项 当您使用webpack或browserify等打包工具时，请通过 npm install ali-oss 的...
在云控制台上使用文件网关
本文介绍如何通过阿里云云存储网关控制台快速创建文件网关并完成共享设置。前提条件 已注册阿里云账号，并完成实名认证，更多信息，请参见 注册阿里云账号。说明 建议您使用RAM账户登录云存储网关控制台进行相关操作，更多信息，请参见 ...
在本地控制台上使用文件网关
本文介绍如何在本地文件网关控制台上完成共享设置。前提条件 已注册阿里云账号，并完成实名认证，更多信息，请参见 注册阿里云账号。说明 建议您使用RAM账户登录云存储网关控制台进行相关操作，更多信息，请参见 账号访问控制。已开通云...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
开始使用OSS
基于OSS的文件系统管理 OSS的存储空间内部是扁平的，没有文件系统的目录等概念，所有的对象都直接隶属于其对应的存储空间。如果您想要像使用本地文件夹和磁盘那样来使用OSS存储服务，可以通过配置云存储网关来实现。通过云存储网关提供的...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
set-meta（管理文件元数据）
ossutil64 set-meta oss:/examplebucket/desfolder/X-Oss-Storage-Class:IA-include"*.jpg"-u-r 结合-r 及-u 选项，将examplebucket中目录desfolder下文件名包含 abc 且文件类型不为.jpg 和.txt 的Object的存储类型修改为归档存储（Archive...
使用EasyASR进行语音分类
easyasr_create_dataset-input_path='sample_asr_cls_data.csv'-output_prefix='tfrecords/' 命令中的参数含义如下：input_path：训练数据的文件名称，为CSV文件。该文件中记录了用于训练的WAV文件路径和人工标注的结果。output_prefix：...
将数据写入OSS
output 文件夹下会产生一个.odps 文件夹，包含.meta 文件和保存.csv 文件的文件夹。例如 output/.odps/20210330*/R2_1_0_0-0_TableSink1-0-.csv。说明.odps 文件夹中的.meta 文件为MaxCompute额外输出的宏数据文件，用于记录当前文件夹中...
性能说明FAQ
通用型NAS 单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值）越高。更多信息，请参见 通用型NAS。极速型NAS 单个文件系统的读写性能随配置容量的增长呈阶梯式增长...
使用EasyASR进行语音识别
模型名称 词汇表 配置文件 模型文件 描述 wav2letter-small alphabet4k.txt w2lplus-small.py model.ckpt.meta model.ckpt.index model.ckpt.data-00000-of-00001 wav2letter系列适用于对推理速度要求高、精度要求较低的场景。其中wav2...
基础版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）基础版的Spark全密态计算引擎可以加密敏感数据，并将数据以密文的形式传输和存储，只有密钥拥有者才能解密数据，避免数据泄露。本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，...
触发器
使用触发器可以对存储空间（Bucket）中的增量文件进行批量处理。例如将Bucket某个目录中新增的后缀为.docx的文件转换成.pdf格式、将新增的.mov格式的文件转码为.mp4等。和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行...
Windows挂载NFS文件系统
当您需要跨操作系统共享数据时，可以通过Windows系统挂载NAS NFS文件系统实现数据上传与下载。本文为您介绍如何在Windows操作系统中挂载NFS文件系统。前提条件 在创建NAS文件系统的节点，已有可用的ENS实例（Windows系统）。已创建NAS NFS...
Cromwell 工作流引擎支持
the following duplication strategy will be followed to use the cached outputs#Possible values:"copy","reference".Defaults to"copy"#"copy":Copy the output files#"reference":DO NOT copy the output files but point to the ...
管理存储空间读写权限
设置存储空间读写权限 存储空间的读写权限（ACL）有以下三类：读写权限 描述 方法 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。oss2.BUCKET_ACL_PRIVATE 公共读 存储空间的...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
基础管理FAQ
本文介绍创建或删除NAS文件系统、添加或删除挂载点等的常见问题。每个账号可以创建多少个文件系统、文件系统有什么限制？每个账号在单个地域内最多支持创建20个通用型NAS文件系统和200个极速型NAS文件系统。单个文件系统容量上限：通用容量...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
新建实验
DinitCenterMethod=random-Dseed=1-DmodelName=pai_kmeans_test_output_model_${exp_id}_${trial_id}-DidxTableName=pai_kmeans_test_output_idx_${exp_id}_${trial_id}-DclusterCountTableName=pai_kmeans_test_output_couter_${exp_id}_$...
配置文件说明
CADT命令行交互过程中有几个命令需要指定一个配置文件，例如 apply,step-apply,create-app 等命令，配置文件以YAML文件格式定义，配置文件定义了一个应用创建所需的基本信息。单个应用的配置文件 单个应用的配置文件定义格式及支持的参数如...
管理存储空间访问权限
您可以在创建存储空间（Bucket）时设置存储空间的访问权限（ACL），也可以在创建存储空间后根据自己的业务需求修改存储空间的访问权限。本文介绍如何设置和获取存储空间的访问权限。读写权限类型 存储空间的访问权限有以下三类：访问权限 ...
挂载OSS
1.背景 对象存储 OSS 提供了与传统文件系统不同的 API，为了支持传统程序的快速迁移，BatchCompute 允许用户将 OSS 目录直接挂载到虚拟机的本地文件系统，应用程序无需针对 OSS 进行特殊编程即可访问 OSS 上的数据。2.说明 挂载类型：只读...
对象概述
对象（Object）是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，Object没有文件目录层级结构的关系。Object类型 Object包含以下三种类型：通过 简单上传 生成的Object类型为Normal。通过 分片上传 生成的Object类型为...
管理存储空间读写权限
设置存储空间读写权限 存储空间的读写权限（ACL）有以下三类：取值 描述 方法 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。CannedAccessControlList.Private 公共读 存储...
概述
中间数据 窗口的中间数据分为 Keyed State 和定时器（Timer）两类，可以分别存储在不同的存储介质中，您可以根据作业的特点选择不同的搭配，目前支持以下四种选择：Keyed State存储 定时器存储介质 GeminiStateBackend 内存 ...
生命周期管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
部署推理服务
tf_predictor=Model(inference_spec=InferenceSpec(processor="tensorflow_cpu_2.7"),model_data="oss:/<YourOssBucket>/path-to-tensorflow-saved-model").deploy(instance_type="ecs.c6.xlarge",#可选：使用TensorFlow processor的...
哪些是常用的资源包
存储包 根据文件的不同存储类型，OSS对存储在Bucket中的文件收取对应的存储容量费用，您可以购买不同的存储包用于抵扣对应的存储容量费用。关于OSS支持的存储包类型及抵扣说明，请参见 存储费用。下行流量包 当您通过公网访问或者下载...
人工智能最佳实践
fc-gpu-prj├─code│├─app.py#函数代码│└─Dockerfile#Dockerfile：将代码打包成镜像的Dockerfile├─README.md└─s.yaml#项目配置：包含了镜像如何部署在函数计算 进入项目所在目录。cd fc-gpu-prj 按实际情况修改目录文件的参数...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
管理存储空间读写权限
设置存储空间的读写权限 存储空间的读写权限（ACL）有以下三类：读写权限 描述 方法 私有 存储空间的拥有者和授权用户有该存储空间内的文件的读写权限，其他用户没有权限操作该存储空间内的文件。OssClient:OSS_ACL_TYPE_PRIVATE 公共读 ...
转换存储类型
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
目录和文件访问权限
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
- 产品推荐
- 这些文档可能帮助您