使用在线迁移服务跨账号迁移OSS数据
结合文件元数据信息，例如最后修改时间LastModified、文件大小Size和文件类型Content-Type等是否相同进一步判断覆盖或者跳过同名文件。更多参考 跨账号数据迁移的更多场景 迁移指定数据 以上场景假设了迁移整个Bucket的所有数据，如果您只...
使用数据迁移工具ossimport迁移OSS资源失败的解决方法
问题描述 使用阿里云对象存储OSS时，将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中可以使用ossimport工具。本文介绍运用数据迁移工具ossimport迁移OSS资源失败的报错原因及解决方案。问题原因 使用...
第三方数据源迁移到 OSS
您可以使用阿里云在线迁移服务将第三方数据源，如亚马逊AWS、谷歌云等数据轻松迁移至阿里云对象存储OSS。使用在线迁移服务，您只需在控制台填写源数据地址和目标OSS地址信息，并创建迁移任务即可。启动迁移后，您可以通过控制台管理迁移...
迁移HDFS数据到OSS
但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo ...
迁移HDFS数据到OSS-HDFS
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
使用数据复制功能迁移同账号下的OSS数据
在同一个阿里云账号下，您可以通过OSS的跨区域复制功能将地域A的某个存储空间（Bucket）数据迁移至地域B下的另一个Bucket。如果您需要将地域A某个Bucket的数据迁移至相同地域的另一个Bucket，请使用OSS的同区域复制功能。注意事项 数据迁移...
使用ossimport迁移数据
ossimport支持将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中。本文介绍如何使用ossimport将数据从第三方存储迁移到OSS。背景信息 某用户的数据存储于腾讯云COS广州（华南）区域，数据大小约500TB。现...
从OSS迁移数据
本章节介绍如何将对象存储OSS上的数据迁移到文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见...
迁移Hive表和分区数据到OSS-HDFS服务
本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。前提条件 已创建EMR-3.36.0及以上版本（除3.39.x版本以外）或EMR-5.2.0（除5.5.x版本以外）及以上版本的集群。具体步骤，请参见 创建集群。已通过Hive命令...
迁移OSS-HDFS服务不同Bucket之间的数据
步骤一：下载JAR包 JindoData 步骤二：配置OSS-HDFS服务的AccessKey 您可以通过以下任意方式配置OSS-HDFS服务的AccessKey：在示例命令中配置AccessKey 例如，在将OSS-HDFS中srcbucket的数据迁移到destbucket的示例中结合-hadoopConf 选项...
基于Logstash迁移OSS数据
当对象存储服务OSS（Object Storage Service）文件发生变更，触发阿里云消息服务MNS（Message Notification Service）事件通知时，您可以通过阿里云Logstash的logstash-input-oss插件获取OSS变更事件，再通过logstash-output-oss插件将数据...
OSS和NAS之间的数据迁移
本文介绍如何通过ossutil工具或在线迁移服务实现阿里云对象存储OSS和文件存储NAS之间的数据双向迁移。费用说明 使用ossutil工具迁移 ossutil工具本身不收取费用，但是由于迁移数据时涉及到API请求，所以会产生一定的API请求费用。OSS数据...
迁移半托管JindoFS集群数据到OSS-HDFS服务
步骤一：全量迁移 全量迁移模式负责将半托管JindoFS集群中的某个目录中的元数据一次性全量迁移OSS-HDFS服务中的某个目录。目前仅支持迁移到OSS-HDFS服务中的一级子目录。命令格式 jindo distjob-migrateImport-srcPath<srcPath>-destPath...
MaxCompute数据迁移至OSS
本文为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS（Object Storage Service）。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程...
文件存储 HDFS 版和对象存储OSS双向数据迁移
您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群...
从HDFS迁移数据到OSS/OSS-HDFS
本文为您介绍如何使用阿里云JindoDistCp从HDFS迁移数据到OSS/OSS-HDFS。前提条件 已根据 JindoDistCp使用说明 进行环境适配和工具包下载。注意事项 JindoSDK 4.4.0及以上版本默认使用域名分离的方式，数据读写域名默认使用内网标准OSS域名...
压缩数据从OSS迁移至MaxCompute
本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。前提条件 已开通MaxCompute并创建项目，详情请参见 创建MaxCompute项目。已开通OSS并创建存储空间，且Bucket中有压缩数据SNAPPY...
JSON数据从OSS迁移至MaxCompute
J.R.R.Tolkien","title":"The Lord of the Rings","isbn":"0-395-19395-8","price":22.99 }],"bicycle":{"color":"red","price":19.95 } },"expensive":10 } 将JSON数据从OSS迁移至MaxCompute 新增OSS数据源。详情请参见 配置OSS数据源。...
数据迁移概述
具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象存储OSS之间进行跨账号、跨地域、以及同地域内灵活的数据迁移。迁移时无需搭建迁移环境，可在线提交迁移...
JSON数据从OSS迁移至MaxCompute
J.R.R.Tolkien","title":"The Lord of the Rings","isbn":"0-395-19395-8","price":22.99 }],"bicycle":{"color":"red","price":19.95 } },"expensive":10 } 将JSON数据从OSS迁移至MaxCompute 新增OSS数据源。详情请参见 配置OSS数据源。...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，需先...
概述
您可以将同一个阿里云账号下的OSS某个存储空间（Bucket）的数据迁移至另一个Bucket，还可以跨不同阿里云账号迁移OSS Bucket之间的数据。OSS Bucket之间的数据迁移包含以下场景：同...具体操作，请参见 使用在线迁移服务跨账号迁移OSS数据。
使用JindoDistCp工具迁移第三方云对象存储数据到OSS/...
本文介绍如何通过JindoDistCp工具，将第三方云对象存储中的数据迁移到OSS/OSS-HDFS。前提条件 准备迁移环境并下载JindoDistCp工具，参见 JindoDistCp使用说明。已在Hadoop的 core-site.xml 文件里，配置AccessKey ID和AccessKey Secret。...
简介
阿里云对象存储OSS最佳实践主要介绍数据迁移、数据备份和容灾、数据直传OSS、数据处理与分析、音视频转码、使用Terraform管理 OSS等操作，帮助您更加高效地使用OSS，满足您的业务需求。数据迁移 OSS之间数据迁移 第三方数据源迁移到OSS 从...
什么是OSS-HDFS服务
数据迁移 OSS-HDFS服务作为新一代云原生数据湖存储，支持IDC HDFS平迁上云，优化HDFS使用体验，同时享受弹性伸缩、按需付费的成本效益，大幅优化存储成本。JindoDistCp工具支持将HDFS文件数据（包括文件属性等元数据）无缝迁入OSS-HDFS ...
备份存储空间
针对存放在对象存储OSS上的数据，阿里云提供多种数据备份方式，以满足不同场景的备份需求。本文介绍备份OSS数据的几种主要方式。说明 备份存储空间会产生请求、数据取回等费用，费用详情请以实际备份方式为准。通过定时备份功能进行备份 云...
重命名文件
在OSS数据迁移或重组过程中，您可以通过重命名文件满足新的组织标准，确保命名一致性和结构准确性。使用场景 命名规范实施：在实施新的文件命名规范以提高数据管理效率和一致性时，需要重命名现有的对象以符合这些规范。数据迁移和重组：在...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
如何使用阿里云CDN和OSS等产品实现跨境加速
更多信息，请参见 如何将数据迁移到阿里云对象存储OSS。对象存储OSS开启传输加速。更多信息，请参见 开启传输加速。添加CDN或全站加速域名。CDN请参见 添加加速域名。DCDN请参见 添加加速域名。配置回源HOST，回源OSS对象存储的传输加速...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
重定向
在存量数据迁移至OSS后，您可以通过配置重定向，确保用户可以访问未迁移至OSS的增量数据，避免影响业务数据的正常访问。配置重定向规则后，当请求者访问Bucket中不存在的文件（Object）时，OSS会自动将请求重定向至回源规则指定的源站获取...
数据湖生态接入
本文介绍对象存储OSS支持接入的数据湖生态。生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK...
0017-00000201
问题描述 请求中缺少必须的请求参数，请结合ErrorMessage判断缺少哪些请求参数 问题原因 没有按照对象存储OSS产品API接口文档中的请求头描述信息填写请求时必须填写的请求头信息。解决方案 按照对象存储OSS产品API接口文档中的请求头设置...
回源概述
当请求者向您的对象存储OSS请求的数据不存在时，本应返回404错误。如果您设置了回源规则，填写了数据的正确地址，请求者即可通过回源规则从OSS获取到正确的数据。回源分为镜像回源和重定向两种，可以满足您对于数据热迁移、特定请求的重...
服务等级协议
请参见 对象存储OSS服务等级协议。
使用OSS视频截帧时提示“not supported format”错误
问题描述 在使用阿里云对象存储OSS通过SDK生成带签名的视频截帧URL后，URL无法打开，提示“not supported format”错误。问题原因 仅支持对视频编码格式为H264和H265的视频文件进行视频截帧。解决方案 在使用视频截帧时，请确保使用H264和H...
什么是对象存储OSS
阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。OSS具有与平台无关的RESTful API...
- 产品推荐
- 这些文档可能帮助您