E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
概览
计费方式 存储总费用 计算过程 按容量计费（按量付费）+存储包 8,616.48元/月 此方式按照预估的业务波峰的3/4去购买存储包，这里以购买3,000 GB的存储包来抵扣所有集群的总存储用量为例。根据使用场景，可知有一周的时间用户的总存储用量...
概览
计费方式 存储总费用 计算过程 按容量计费（按量付费）+存储包 8,616.48元/月 此方式按照预估的业务波峰的3/4去购买存储包，这里以购买3,000 GB的存储包来抵扣所有集群的总存储用量为例。根据使用场景，可知有一周的时间用户的总存储用量...
PutBucketLifecycle
您可以基于最后一次修改时间以及最后一次访问时间的策略创建生命周期规则，定期将存储空间（Bucket）内的多个文件（Object）转储为指定存储类型，或者将过期的Object和碎片删除，从而节省存储费用。本文为您介绍如何调用 ...
索引介绍
业务在运行过程中，可以进行任意的属性列变更。支持数据自动过期清理和数据多版本。每列都可以存储多个版本的值，每个值会有一个版本号，同时也是一个时间戳，如果设置了数据自动过期，则会按照这个时间戳来判断数据是否过期，后台会对过期...
DeleteGatewayFileShares
调用DeleteGatewayFileShares接口删除云存储网关上的文件共享。接口说明 警告 删除共享会导致您的业务和数据同步中断，请谨慎操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
控制台快速入门
对象存储OSS帮助您存储图片、音视频等应用，实现海量数据的互联网并发下载，或者结合智能媒体管理服务和图片处理服务进行云端的数据处理。本文以图片文件为例，为您介绍创建存储空间、上传文件、下载文件、分享文件的快速操作指导。前提...
UpgradeGateway
升级过程中，无法响应其他发送的请求。警告 升级网关会导致您的业务暂时中断，请谨慎操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
列存索引技术架构介绍
在SQL执行器层，重写了一套面向列存的执行器引擎框架（Column-oriented），该执行器框架充分利用列式存储的优势，如以4096行的一个Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核心处理数据的吞吐，所有关键算子均支持并行执行。...
使用NAS静态存储卷
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已...
方案背景
本文以车联网场景中车辆轨迹数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆轨迹数据平台的场景需求以及方案架构。场景需求 在车联网场景中，车辆通过传感器上报时序数据到云端。通过存储、查询和分析这些时序数据，用户可以...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
功能支持情况
支持 设置存储空间读写权限（ACL）您可以在创建Bucket时设置访问权限（ACL），也可以在创建Bucket后根据自己的业务需求修改Bucket ACL，该操作只有存储空间的拥有者可以执行。支持 Bucket Policy Bucket Policy是阿里云OSS推出的针对Bucket...
归档存储服务等级协议
1.服务范围 阿里云归档存储为用户提供大容量的云归档服务。用户可以调用归档存储提供的API或者SDK通过网络进行数据的上传和下载，并可通过Web控制台进行有限功能的管理。归档存储的存储容量支持弹性扩容，并提供基于云计算模式的按使用量...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
为什么云存储网关与OSS上的文件不一致
基于按需扫描机制的常规反向同步 云存储网关默认采用基于按需扫描机制的 反向同步 功能，将OSS上的变化按需同步至网关本地，这一过程是 由用户访问操作触发、按需执行的。具体而言，云存储网关在文件夹层级上设置了同步时间，当检测到当前...
GetBucketStat
调用 GetBucketStat 接口获取指定存储空间（Bucket）的存储容量以及文件（Object）数量。注意事项 调用该接口时需要拥有 oss:GetBucketStat 权限。调用该接口获取的数据并非是实时数据，延时可能超过一个小时。调用该接口获取到的存储信息...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
使用NAS实现共享存储和持久化存储-Flexvolume
NAS提供了共享存储和持久化存储的服务，满足您需要多个Pod共享数据的应用场景。本文介绍如何使用NAS实现共享存储和持久化存储。前提条件 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。已在文件存储控制台创建...
通过SLS完成日志数据入湖OSS
数据湖支持在低存储成本的情况下，更好地满足数据长期存储、查询、分析、读取等需求。本文介绍通过日志服务SLS完成日志数据入湖的操作方式。前提条件 已在日志服务Project所在的地域创建Bucket。具体操作，请参见 控制台创建存储空间。背景...
SQL查询介绍
SQL查询为表格存储的多数据引擎提供统一的访问接口，兼容MySQL的查询语法，适用于在海量数据中进行在线数据访问类型的场景。您可以通过SQL查询功能对表格存储中的数据进行复杂的查询和高效的分析。背景信息 为了满足用户业务平滑迁移到表格...
通过NFS使用NAS静态存储卷
本文介绍如何使用阿里云NAS静态存储卷，及如何实现持久化存储与共享存储。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。已创建NAS文件系统。具体操作，请参见 创建文件系统。若需要加密NAS存储卷中的数据，...
基于最后一次访问时间的生命周期规则
您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而达到数据的冷热分层存储，最终降低存储成本。使用场景 多媒体场景 某网站的...
基本概念
存储空间（Bucket）存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。同...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
高级配置
[program:ossfs]command=bash/home/user1/ossfs_scripts/start_ossfs.sh logfile=var/log/ossfs.log log_stdout=true log_stderr=true logfile_maxbytes=1MB logfile_backups=10 执行以下命令运行Supervisor。supervisord 确认Supervisor...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
什么是文件存储NAS
它提供了简单的可扩展文件存储以供与ECS配合使用，多个ECS实例可以同时访问NAS文件系统，并且存储容量会随着您添加和删除文件而自动弹性增长和收缩，为在多个实例或服务器上运行产生的工作负载和应用程序提供通用数据源。NAS提供了通用型和...
SQL查询计量计费
使用SQL查询过程中，可能消耗读吞吐量的操作如下：数据表：数据扫描与查询 二级索引：数据扫描与查询 多元索引：数据查询与计算 时序表：数据扫描与查询 计费示例 假设表格存储中有一个订单表sample_table，主键为user_id（String类型），...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
列举文件
本文介绍如何在开启版本控制状态下列举存储空间下（Bucket）的所有文件（Object）、指定个数的文件、指定前缀的文件等。列举Bucket中所有Object的信息 以下代码用于列举指定Bucket中包括删除标记（Delete Marker）在内的所有Object的版本...
流计算
使用Spark的DataFrame方式访问表格存储，并在本地和集群上分别进行运行调试。前提条件 了解Spark访问表格存储的依赖包，并在使用时通过Maven方式引入项目中。Spark相关：spark-core、spark-sql、spark-hive Spark Tablestore connector：...
批计算
使用Spark的DataFrame方式访问表格存储，并在本地和集群上分别进行运行调试。前提条件 了解Spark访问表格存储的依赖包，并在使用时通过Maven方式引入项目中。Spark相关：spark-core、spark-sql、spark-hive Spark Tablestore connector：...
存储空间地域属性
OSS存储空间（Bucket）地域属性分为有地域属性和无地域属性。有地域属性Bucket 有地域属性Bucket适用于OSS通用场景。您在创建Bucket时需选择有地域属性，并指定Bucket所在的具体Region，例如华东1（杭州）。更多信息，请参见 访问域名和...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
转换存储类型
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
管理存储空间读写权限
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何设置和获取存储空间读写权限（ACL）。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网...
创建存储空间
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何创建存储空间。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持...
管理共享
设置修改时间会被转换成修改存储桶里的对象的元数据，通过调用拷贝对象API来实现，如果是归档类型或者冷归档类型的文件，就会需要执行耗时的解冻动作，影响上传效率，甚至可能因为缓存盘内的数据来不及上传导致写入失败，所以不建议网关...
使用限制
迁移过程中，根据不同的实例系列，会出现数据库中断或者闪断。中断或者闪断期间，与数据库、账号、网络等相关的大部分操作都无法执行。重要 基础系列只有一个数据库节点，没有备节点作为热备份，因此当该节点变更配置时，会出现半小时或更...
- 产品推荐
- 这些文档可能帮助您