ST_ExportTo
config json字符串，格式如下所示：参数名称：compress 默认值：'none' 可选值：'none'，'lz4'，'lzo'，'zstd'，'snappy'，'zlib' 描述 将轨迹的时间、空间、事件、属性信息存到数据库OSS的文件夹中。Endpoint为OSS的地域节点。为保证数据...
ST_ExportTo
config json字符串，格式如下所示：参数名称：compress 默认值：'none' 可选值：'none'，'lz4'，'lzo'，'zstd'，'snappy'，'zlib' 描述 将轨迹的时间、空间、事件、属性信息存到数据库OSS的文件夹中。Endpoint为OSS的地域节点。为保证数据...
转换文件存储类型
设置修改后的文件存储类型，例如将修改后的文件存储类型设置为归档类型。ObjectMetaData objectMeta;objectMeta.addHeader("x-oss-storage-class","Archive");std:string SourceBucketName=BucketName;std:string SourceObjectName=...
资源包概述
低频-本地冗余存储包 抵扣低频-本地冗余存储类型的OSS文件的存储费用 归档-本地冗余存储包 抵扣归档-本地冗余存储类型的OSS文件的存储费用 标准-同城冗余存储包 抵扣标准-同城冗余存储类型的OSS文件的存储费用 低频-同城冗余存储包 抵扣...
在文件存储 HDFS 版上使用Apache Tez
mkdir tez-0.9.2 tar-zxvf tez-0.9.2.tar.gz-C tez-0.9.2/执行以下命令，将已下载的 文件存储 HDFS 版 Java SDK放到指定目录中（例如tez-0.9.2/lib）。cp aliyun-sdk-dfs-x.y.z.jar tez-0.9.2/lib 执行以下命令，重新压缩文件。tar-zcvf ...
如何查看OSS文件被删除的详细操作记录
概述 本文主要介绍当发现您存储在阿里云对象存储OSS中的文件被删除后，如何查看阿里云对象存储OSS文件被删除的详细操作记录，定位是否存在误删除的情况。详细信息 如您需要查看OSS文件被访问、删除等操作的记录，需要开启OSS的Logging日志...
计费概述
通过阅读本文，你可以快速了解对象存储OSS的付费方式、计费组成、定价等主要计费信息。计费方式 对象存储OSS支持以下计费方式。按量付费：所有计费项默认采用按量付费。按照各计费项的实际用量结算费用，先使用，后付费，适用于业务用量...
Windows NTFS文件系统中大量小文件导致空间统计异常...
问题原因 该情况为NTFS文件系统中NFT占用导致，与NTFS文件系统中的文件存储方式有关。NTFS文件系统格式化后简单的结构如下图所示。其中BOOT中存放文件系统基础信息，如簇大小等。NTFS的文件信息都存放在Master File Table（MFT）中，每个...
性能说明FAQ
同时，空洞文件和Truncate命令生成的文件在阿里云NAS上占用实际容量，按实际大小计费。更多信息，请参见 通用型NAS计费。例如在容量型文件系统写入1 TiB文件，其读写吞吐可提升150 MB/s；在性能型文件系统写入1 TiB文件，其读写吞吐可提升...
应用场景
图片和音视频等应用的海量存储 OSS可用于图片、音视频、日志等海量文件的存储。各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式。网页或者移动应用的静态和动态资源分离 利用海量...
转换文件存储类型
OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何通过CopyObject接口将文件（Object）转换为指定的存储类型。注意事项 关于存储类型的更多信息，请参见 存储类型概述...
使用限制
产品规格 限制项 说明 每个账号在单个地域内可创建的文件系统数量 通用型NAS：20个 极速型NAS：200个 单个文件系统可创建挂载点的数量 通用型NAS：2个 极速型NAS：1个 单个文件系统最大文件数 通用型NAS：10亿 极速型NAS：5亿 单个文件系统...
开启CNFS NAS计算端分布式缓存
kubectl get pod-nkube-system-owide|grep csi-plugin|awk '{print$1}'|xargs kubectl-nkube-system delete pod 执行以下命令，为CNFS的文件存储开启分布式缓存。创建一个CNFS托管NAS文件系统，StatefulSet通过使用动态存储卷的方式挂载...
转换文件存储类型
OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件（Object）的存储类型。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他...
媒体处理概述
工作原理 离线转码：将视频文件上传到OSS存储空间，创建媒体处理任务，任务执行成功后，转码后的文件存储在OSS中。边转边播：将视频文件上传到OSS存储空间，创建边转边播播放列表，立即播放，对视频实时按需转码并存储在OSS中。处理参数 ...
inventory（清单）
您可以使用清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket(ListObjects)接口，在海量Object的列举场景中，建议您优先使用清单功能。本文介绍如何通过 inventory 命令添加、...
归档存储服务等级协议
数据可迁移性 归档存储存储的对象是用户文件，文件类型维持原有格式不变。用户使用归档存储时，可随时访问、下载其文件，并根据需要自行保存或迁出。2.4.数据私密性 用户可在阿里云官网开通归档存储服务，阿里云为用户分配AccessId和...
OSS-HDFS数据源
OSS-HDFS Reader在做数据同步前，会检查您配置的路径下所有需要同步的文件格式是否和fileFormat一致，如果不一致任务会失败。fileFormat可以配置的参数值列表如下所示：text：表示TEXT文件格式。orc：表示ORC文件格式。csv：表示普通OSS-...
lifecycle（生命周期）
并不是所有上传至OSS的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍需要继续以冷存储类型进行保存。或者基于业务使用场景，希望批量删除Bucket内不再需要保存的数据，您可以通过ossutil lifecycle命令配置基于最后一次...
HDFS数据源
由于TextFile和ORCFile是两种不同的文件格式，所以HDFS Reader对这两种文件的解析方式也存在差异，这种差异导致Hive支持的复杂复合类型（例如map、array、struct和union）在转换为数据集成支持的String类型时，转换的结果格式略有差异，以...
模板转换工具的常用命令
取值：auto（默认值）terraform excel cloudformation 例如：以下代码表示将Terraform模板转换为ROS模板，并指定源模板文件格式为Terraform，将文件命名为 main.tf。rostran transform templates/terraform/alicloud-source-format ...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
文件存储NAS系统权限策略参考
本文描述文件存储NAS支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
概述
阿里云提供针对各种存储资源...云存储网关 云存储网关（Cloud Storage Gateway）是一款可以部署在用户IDC和阿里云上的网关产品，以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。
创建及管理数据集
预览 单击 开始扫描，系统会根据选择的OSS路径和通配符，索引相关联的文件并按照.manifest 格式预览。扫描结果文件保存路径 扫描后将得到一个 dataset_xxx.manifest 文件，您可以修改文件名称并选择该文件保存的OSS路径。单击 提交。创建...
JSON格式
日志服务将日志投递到OSS后，支持存储为不同的文件格式，本文介绍JSON格式。参数配置 在 配置投递规则 时，如果选择 存储格式 为 json，对应的参数配置如下所示。参数 说明 是否投递tag 是否投递日志tag字段，例如_tag_:abc。OSS文件地址 ...
快速开始转码任务
说明 控制台场景下，M3U8格式的文件仅支持URL拉取方式上传，不支持本地上传方式上传。媒体处理 上传成功后是否立即对媒资文件进行媒体处理。说明 如需进行媒体处理，请选择所需工作流，上传成功后自动执行。进行媒体处理会产生媒资存储和...
OSS归档存储类型文件解冻后访问提示“The operation ...
问题描述 阿里云对象存储OSS的Bucket设置了生命周期，在将归档存储类型的文件解冻后，无法正常访问文件，提示以下错误：StatusCode=403,ErrorCode=InvalidObjectState,ErrorMessage="The operation is not valid for the object's state...
集成概览
云产品 资源类型 CPFS ALIYUN:NAS:DataFlow：创建一个CPFS文件系统与源端存储的数据流动 ALIYUN:NAS:FileSystem：创建文件系统 ALIYUN:NAS:Fileset：创建一个Fileset ALIYUN:NAS:ProtocolMountTarget：创建协议服务导出目录 ALIYUN:NAS:...
文件引擎版本说明
如何查看或升级实例的文件引擎版本 您可以通过控制台查看当前的文件引擎（底层存储）版本，如下图所示，具体操作及升级版本的注意事项，请参见 升级版本。重要 版本升级过程中会滚动重启数据库所有节点的底层存储服务，在重启期间会有轻微...
CSV格式
日志服务将日志投递到OSS后，支持存储为不同的文件格式。本文介绍CSV格式。参数配置 在 配置投递规则 时，如果选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。参数 ...
管理文件元数据
对象存储OSS存储的文件（Object）信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
文件管理最佳实践
文件格式要求如下表所示。文件类型 文件格式 图片 jpg/jpeg、png、gif、bmp、wbmp、webp、svg 音频 mp3 视频 mp4、ogg、webm 上传文件 以下代码展示了如何通过 uploadFile 方法以指定路径的方式上传一张公开的图片。const options={/env:...
方案背景
例如：用户A：（用户A的文件）*（近1年）*（标签含[开心]）*的所有图片，按标签分数排序 用户B：（用户B的文件）*（出现某某明星）*的所有视频，按明星相似度排序.技术点 对于智能元数据管理系统，通常需要考虑的技术点，包含以下方面：...
安装文件系统SDK
部署依赖 下载最新的 文件存储 HDFS 版 的文件系统 Java SDK。将下载的SDK拷贝至Hadoop生态系统组件的CLASSPATH上。推荐将其部署到 hadoop-common-x.y.z.jar 所在的目录内，并复制到所有Hadoop节点。对于MapReduce组件，该目录为${HADOOP_...
新版使用场景
说明 您需要在本地创建待迁移的列表文件，列表文件格式请参见 准备工作，并将创建的列表文件上传到OSS，请记录列表文件的路径，以备创建数据地址时填写使用。第三方存储服务迁移至阿里云OSS 在线迁移服务支持第三方数据源到阿里云对象存储...
归档直读
归档直读是指在对象存储OSS中，直接访问归档存储类型的文件，而无需先对其解冻。归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作，请参见 创建存储空间。RAM...
集群吞吐性能测试
将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...
Linux实例中修改文件为Unix格式的方法
本文以/etc/passwd 文件为例，命令示例如下所示：vim/etc/passwd 调整文件格式。在文件内，按下 Shift+:组合键，并输入 set ff=unix 后按下 Enter 键。按下 Shift+:组合键，并输入 wq 后按下 Enter 键，保存退出文件。修复完成后，退出修复...
OSS文件处于冻结状态无法正常访问
问题描述 阿里云对象存储OSS中的文件在以下场景处于冷冻状态，无法正常访问。文件存储类型是归档存储、冷归档存储或者深度冷归档存储。文件存在违法违规情况。问题原因 阿里云对象存储OSS中的文件处于冻结状态有以下几种情况：在对象存储...
- 产品推荐
- 这些文档可能帮助您