数据存储需求评估

阿里云存储服务为不同的存储场景提供存储优化方案,并没有一个通用的方案能够适用于所有的存储场景。因此,当您在评估存储需求时,请考虑对不同的业务负载分别选择不同的存储方案。您在每个业务负载中划分数据并确定存储需求时,需要考虑...

CDN加速OSS资源后访问OSS和CDN的URL返回的数据大小不...

问题描述 OSS通过PutObject等上传方式都会在Response头中记录Content-Length和Content-MD5的信息,返回给客户端,您可以根据该信息确定本地下载的文件与OSS服务器端存储的数据是否一致。但是当使用CDN加速OSS资源后...适用于 对象存储OSS CDN

访问监控数据

本文介绍如何使用监控服务提供的API或SDK查询OSS监控数据。说明 监控服务SDK示例,请参见 SDK参考。Space Space用于指定监控的云服务。OSS监控服务使用的Namespace为 acs_oss_dashboard。例如,通过Java SDK指定监控OSS服务的示例代码...

数据保留合规

OSS支持WORM(Write once read many)特性,允许用户以“不可删除、不可篡改”方式保存和使用数据,符合美国证券交易委员会(SEC)和金融业监管...您可以基于OSS搭建“数据合规存储空间”。更多信息请参见OSS开发指南中的 合规保留策略。

数据校验

OSS提供基于MD5和CRC64的数据校验,确保上传、下载和拷贝文件(Object)过程中的数据完整性。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里产品访问OSS,请使用内网Endpoint。关于OSS支持的Region...

数据校验

OSS Android SDK提供了数据完整性校验方法,保证您在上传、下载和拷贝过程中数据的安全性。注意事项 使用本文示例前您需要先通过自定义域名、STS等方式新建OSSClient,具体请参见 如何初始化Android端OSSClient实例。背景信息 由于移动端...

迁移Hive表和分区数据OSS-HDFS服务

本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。前提条件 已创建EMR-3.36.0及以上版本(除3.39.x版本以外)或EMR-5.2.0(除5.5.x版本以外)及以上版本的集群。具体步骤,请参见 创建集群。已通过Hive命令...

数据处理概述

通过事件通知实时处理OSS文件变动 OSS与智能媒体管理(IMM)深度结合,支持的处理功能如下:说明 全新发布20余项数据数据处理能力,涵盖文档、音视频、图片智能、批量处理和自动触发,详情请参见 智能媒体管理快速入门。功能模块 说明 ...

数据索引

如果您希望从Bucket存储的海量Object中快速查找与指定的Object名称、ETag、存储类型、大小、最后修改时间等条件匹配的Object,您可以使用数据索引功能。通过数据索引功能,您可以在查找目标Object时指定过滤条件,对查询结果按需选择排序和...

数据校验

如果需要在初始化分片时设置文件存储类型,请参考以下示例代码/ObjectMetadata metadata=new ObjectMetadata();metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS,StorageClass.Standard.toString());request.setObjectMetadata(metadata);...

Sqoop以EMR集群的方式读写OSS-HDFS服务数据

format 可选 文件存储的格式。取值为 avrodatafile、sequencefile、textfile(默认值)、parquetfile。count 可选 指定MapReduce的任务数。使用示例 将OSS-HDFS服务examplebucket中指定路径下的数据导入MySQL中的数据库表src_kv。sqoop ...

文件存储 HDFS 版和对象存储OSS双向数据迁移

您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS,也可以将对象存储OSS数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群...

访问域名和数据中心

Region表示OSS数据中心所在的地域,Endpoint表示OSS对外服务的访问域名。本文主要介绍Region与Endpoint的对应关系。公共OSS Region和Endpoint对照表 重要 使用OSS的公共云内网Endpoint时,必须使用阿里上私网DNS地址(100.100....

OSS的源Bucket配置数据复制规则后目标Bucket中无相应...

问题描述 阿里云对象存储OSS为满足Bucket跨区域容灾或用户数据复制的需求,在源存储空间(Bucket)配置了跨区域复制规则或同区域复制规则后,对象副本未出现在目标Bucket。跨区域复制的使用场景及限制,请参见 跨区域复制介绍。问题原因 ...

数据索引

如果您希望从Bucket存储的海量Object中快速查找与指定的Object名称、ETag、存储类型、大小、最后修改时间等条件匹配的Object,您可以使用数据索引功能。通过数据索引功能,您可以在查找目标Object时指定过滤条件,对查询结果按需选择排序和...

迁移OSS-HDFS服务不同Bucket之间的数据

本文介绍如何使用阿里Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。前提条件 已创建阿里EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤,请参见 创建集群。如果您使用的是自建ECS集群,需确保集群具备Hadoop2.7+或...

数据索引

如果您希望从Bucket存储的海量Object中快速查找与指定的Object名称、ETag、存储类型、大小、最后修改时间等条件匹配的Object,您可以使用数据索引功能。通过数据索引功能,您可以在查找目标Object时指定过滤条件,对查询结果按需选择排序和...

通过HDP 2.6 Hadoop读取和写入OSS数据

fs.oss.impl Hadoop OSS文件系统实现类。目前固定为:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem fs.oss.buffer.dir 填写临时文件目录。建议值:/tmp/oss fs.oss.connection.secure.enabled 是否开启HTTPS。开启HTTPS会影响性能...

如何备份ECS实例的数据?

通过在线迁移服务备份数据 如果您希望将ECS服务器上多个磁盘下指定目录中的文件增量备份到OSS某个Bucket下的指定路径,并保留与源文件相同的目录结构。您可以使用在线迁移服务。具体操作,请参见 迁移实施。说明 在线迁移服务仅支持专有...

Spark使用JindoSDK查询OSS-HDFS服务中的数据

相对于Hadoop社区OSS客户端,Spark使用JindoSDK查询OSS-HDFS服务中的数据时,可以获得更好的性能。前提条件 已创建ECS实例。具体步骤,请参见 选购ECS实例。已创建Hadoop环境。具体步骤,请参见 创建Hadoop运行环境。已部署Apache Spark。...

数据复制

数据复制是以异步(近实时)方式将源Bucket中的文件(Object)以及对Object的创建、更新和删除等操作自动复制到目标Bucket。OSS支持跨区域复制(Cross-Region Replication)和同区域复制(Same-Region Replication)。注意事项 本文以华东1...

使用Flume同步EMR Kafka集群的数据OSS-HDFS服务

本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS服务。已创建DataLake集群,并选择了Flume服务。具体操作,请参见 创建集群。已...

Trino使用JindoSDK查询OSS-HDFS服务中的数据

本文介绍Trino如何使用JindoSDK查询OSS-HDFS服务中的数据。前提条件 已创建ECS实例。具体步骤,请参见 选购ECS实例。已创建Hadoop环境。具体步骤,请参见 创建Hadoop运行环境。已部署Trino。具体操作,请参见 部署Trino。已开通并授权访问...

Impala使用JindoSDK查询OSS-HDFS服务中的数据

相对于Hadoop社区OSS客户端,Impala使用JindoSDK查询OSS-HDFS服务中的数据时,可以获得更好的性能。前提条件 已创建ECS实例。具体步骤,请参见 选购ECS实例。已创建Hadoop环境。具体步骤,请参见 创建Hadoop运行环境。已开通并授权访问OSS-...

数据复制常见问题

在源存储空间(Bucket)配置了数据复制规则后,如果对象副本未出现在目标Bucket中,请参考以下几种可能原因排查并修复问题。时间限制 数据复制采用异步(近实时)复制的机制,将数据复制到目标Bucket需要一定的时间,通常几分钟到几小时...

数据安全性

MD5校验 需要在上传文件时提供文件的Content-MD5值,OSS服务器会帮助用户进行MD5校验,仅当OSS服务器接收到文件的MD5值和上传提供的MD5一致时才可以上传成功,以此保证上传数据的完整性。OSSPutObjectRequest*request=[OSSPutObjectRequest...

Spark以EMR集群的方式处理OSS-HDFS服务中的数据

本文介绍Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS服务...

Presto以EMR集群的方式查询OSS-HDFS服务中的数据

本文介绍Presto如何以EMR集群的方式查询OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS...

Impala以EMR集群的方式查询OSS-HDFS服务中的数据

本文介绍Impala如何以EMR集群的方式查询OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作,请参见 开通并授权访问OSS-HDFS...

如何授予RAM用户查看OSS控制台概览页基础数据的权限

本文介绍如何授予RAM用户查看OSS控制台概览页基础数据的权限。操作步骤 通过RAM用户查看OSS控制台概览页的基础数据时,需要确保RAM用户拥有 AliyunCloudMonitorReadOnlyAccess 策略权限。您可以通过阿里账号为RAM用户授予 ...

OSS配置镜像回源后源和目标Object数据大小不一致

本文主要介绍OSS配置镜像回源后源和目标Object数据大小不一致的排查思路。问题描述 OSS上配置了镜像回源,回源到另外一个Bucket,但是目标Bucket上存储的Object大小和源上Object大小不一致。解决方案 OSS配置镜像回源后源和目标Object数据...

为什么数据丢失了?

OSS是分布式存储产品,通过数据自动多重冗余备份保证数据的持久性。因此正常情况下,OSS本身是不会导致数据出现丢失的情况的。以下情况可能会导致您的数据被删除:生命周期规则 如果您配置过自动删除文件的生命周期规则,OSS会根据您设置的...

数据复制

数据复制是以异步(近实时)方式将源Bucket中的文件(Object)以及对Object的创建、更新和删除等操作自动复制到目标Bucket。OSS支持跨区域复制(Cross-Region Replication)和同区域复制(Same-Region Replication)。注意事项 本文以华东1...

使用最后一次访问时间的生命周期规则实现数据智能分层

您可以通过基于最后一次访问时间(Last Access Time)策略的生命周期规则来自动监测数据的访问模式并识别冷数据,然后将识别出来的冷数据进行存储类型的转换,从而达到数据的智能分层存储,最终降低存储成本。场景说明 假设某多媒体网站...

数据复制

数据复制是以异步(近实时)方式将源Bucket中的文件(Object)以及对Object的创建、更新和删除等操作自动复制到目标Bucket。OSS支持跨区域复制(Cross-Region Replication)和同区域复制(Same-Region Replication)。注意事项 本文以华东1...

数据校验

OSS提供基于MD5和CRC64的数据校验,确保上传、下载和拷贝文件(Object)过程中的数据完整性。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里产品访问OSS,请使用内网Endpoint。关于OSS支持的Region...

通过crc64校验数据传输的完整性

背景信息 OSS对新上传的Object进行crc64的计算,并将结果作为Object的元数据存储,随后在返回的response header中增加 x-oss-hash-crc64ecma 头部,表示其crc64值,该64位CRC根据 ECMA-182标准 计算得出。对于crc64上线之前就已经存在于OSS...

JavaSDK实现数据流分片上传的代码样例

概述 OSS的Java SDK提供了分片上传的样例,具体代码中使用的是实现本地文件的分片上传。但是在实际使用过程中,服务端可能获取的是网络流数据并用来进行分片上传,该方法需要将网络流数据保存为本地文件后,再上传该文件...适用于 对象存储OSS

教程示例:基于Bucket Policy实现跨部门数据共享

企业不同部门或项目之间需要共享数据,本部门允许其他部门的用户下载共享数据,禁止写入和删除数据,以降低共享数据被误删、篡改的风险。背景信息 部门A将存储在example-bucket存储空间(Bucket)中的数据共享给部门B的用户,并允许部门B的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 云数据库 RDS 数据库备份 云原生数据湖分析 (文档停止维护) 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用