使用前须知
开通OSS-HDFS服务之前，您需要了解OSS-HDFS服务与OSS其他多个功能的关系，避免影响OSS-HDFS服务的正常使用或者引发数据丢失的风险。警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
什么是OSS-HDFS服务
作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储生态，除提供对象存储扁平命名空间之外，还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
开通并授权访问OSS-HDFS服务
本文介绍如何开通并授权访问OSS-HDFS服务。前提条件 华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北6（乌兰察布）、华南1（深圳）、华南3（广州）、华北3（张家口）、中国香港、日本（东京）、新加坡、德国（法兰克福...
数据湖生态接入
HDFS服务中的数据 Presto Presto使用JindoSDK查询OSS-HDFS服务中的数据 Spark Spark使用JindoSDK查询OSS-HDFS服务中的数据 Thanos 使用Thanos访问OSS 阿里云生态 DataLakeAnalytics DataLakeAnalytics+OSS：基于OSS的Severless的交互式查询...
通过OSS控制台访问
本文介绍如何通过OSS控制台访问OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。操作步骤 登录 OSS管理控制台。单击 Bucket 列表，然后单击目标Bucket名称。在左侧导航栏，选择 文件...
在EMR Hive或Spark中访问OSS-HDFS
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详细信息请参见 OSS-HDFS服务概述。...
OSS-HDFS元数据管理费用
OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。说明 本文仅说明相关计费项及付费方式。有关计费项的...
EMR Flink写入OSS-HDFS服务
String outputPath="oss:/<user-defined-oss-hdfs-bucket.oss-hdfs-endpoint>/<user-defined-dir>"StreamingFileSink<String>sink=StreamingFileSink.forRowFormat(new Path(outputPath),new SimpleStringEncoder("UTF-8")).build();...
对象存储OSS
对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高持久的云存储服务。其数据设计持久性不低于99.9999999999%（12个9），服务设计可用性不低于99.995%。OSS具有与平台无关的RESTful API接口，您可以在任何应用、...
常见问题
本文介绍使用OSS-HDFS服务的常见问题和解决方法。如果误删除OSS-HDFS服务冷热分层对应的生命周期规则怎么办？开启冷热分层后，OSS会自动创建同时包含转换为低频、归档以及冷归档类型三种策略的生命周期规则。如果您误删除了其中一种或多种...
0024-00000504
问题描述 创建元数据转换任务请求时，命中前缀参数含有OSS-HDFS的特殊路径。问题原因 您发起了创建元数据转换任务请求，命中前缀参数含有OSS-HDFS的特殊路径。命中前缀不支持设置为..d、.dl、.dls、.dlsd、.dlsda、.dlsdat、.dlsdata其中...
转换元数据
OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。前提条件 已开通并授权访问OSS-HDFS服务。具体步骤，请参见 开通并授权访问OSS-HDFS服务。仅 华北3（张家口）地域支持将OSS元数据转换为OSS-...
HBase使用OSS-HDFS服务作为底层存储
OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-HDFS服务使用更加灵活，且一定程度减少了运维成本。前提...
导出审计日志
具体操作，请参见 通过Jindo CLI命令访问OSS/OSS-HDFS。背景信息 OSS-HDFS审计日志默认保存在以下路径，暂不支持自定义输出路径。oss:/<hdfs_bucket>.<dls_endpoint>/.sysinfo/auditlog/其中，<hdfs_bucket>填写已开通OSS-HDFS服务的Bucket...
Hadoop使用JindoSDK访问OSS-HDFS服务
作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储生态，除提供对象存储扁平命名空间之外，还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
EMR集群接入OSS-HDFS服务快速入门
阿里云开源大数据开发平台E-MapReduce（简称EMR）特定版本集群默认集成OSS-HDFS服务。本文介绍如何通过EMR集群完成OSS-HDFS服务快速入门的常见操作。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤，请参见 ...
如何使用阿里云CDN和OSS等产品实现跨境加速
方法四：将源站服务迁移到阿里云对象存储OSS，OSS支持传输加速的功能，通过CDN和全站加速回源OSS对象存储，具体操作如下：说明 传输加速主要是针对跨境问题，但与CDN和全站加速原理不同。更多信息，请参见 CDN加速和OSS传输加速的区别。将...
同时开通OSS-HDFS服务和版本控制的Bucket如何处理？
如果某个Bucket同时开通OSS-HDFS服务和版本控制，可能导致OSS-HDFS服务异常。为保证OSS-HDFS服务的稳定性，您需要暂停版本控制，同时配置生命周期规则清理删除标记。暂停版本控制 您可以通过OSS控制台、阿里云SDK、命令行工具ossutil等多种...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
方式二：在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径，然后重启Hive Metastore，后续创建的数据库和数据库下的表均默认存储于OSS-HDFS服务...
迁移OSS-HDFS服务不同Bucket之间的数据
背景信息 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝...
0024-00000004
问题描述 OSS到OSS-HDFS的转换功能当前用户或者所在地域不支持。问题原因 您在尝试创建或启动OSS到OSS-HDFS的转换功能任务，该功能当前用户或者所在地域不支持。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 该...
Snapshot（试用）
当您希望对OSS-HDFS服务的数据进行备份，在数据发生错误、被误删除时，将数据恢复至可用状态，您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能在使用方式上与HDFS的快照功能完全兼容，同时支持目录层级的操作。重要 此功能目前尚...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
方式二：在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径，然后重启Hive Metastore，后续创建的数据库和数据库下的表均默认存储于OSS-HDFS服务...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
背景信息 TPC-DS作为全球权威的数据管理系统评测标准之一，由TPC组织设计和维护，但其官方提供的工具集主要服务于单机数据生成与SQL查询执行，并不适合直接应用于大规模分布式环境下的性能评估。为适用于大数据分析场景，您需要准备以下...
通过Jindo CLI访问
通过非阿里云EMR访问OSS-HDFS服务，确保已安装和部署 4.6.x及以上版本JindoSDK。具体操作，请参见 在非EMR集群中部署JindoSDK。操作步骤 配置环境变量。如果通过阿里云EMR访问OSS-HDFS服务，则直接跳过此步骤，执行 下一步。如果通过非阿里...
查询用量情况
通过OSS管理控制台查询某个Bucket下OSS-HDFS服务的用量情况，不作为计量数据，仅供参考。操作步骤 登录 OSS管理控制台。在左侧导航栏，单击 Bucket 列表，然后单击已开启OSS-HDFS服务的目标Bucket名称。在左侧导航栏，选择 数据湖管理>HDFS...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
实时计算Flink读写OSS或者OSS-HDFS
阿里云实时计算Flink支持通过连接器读写OSS以及OSS-HDFS数据。通过配置OSS或者OSS-HDFS连接器的输入属性，实时计算Flink会自动从指定的路径读取数据，并将其作为实时计算Flink的输入流，然后将计算结果按照指定格式写入到OSS或者OSS-HDFS的...
什么是对象存储OSS
阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。OSS具有与平台无关的RESTful API...
HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储
阿里云开源大数据开发平台E-MapReduce（简称EMR）支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群，并在创建集群时选择Hbase。具体...
0017-00000202
问题描述 请求中某个请求参数的类型不正确，请结合...问题原因 没有按照对象存储OSS产品API接口文档中的请求头描述信息填写对应的数据类型。解决方案 按照对象存储OSS产品API接口文档中的请求头描述信息填写对应的数据类型。相关文档 API概览
0017-00000201
问题描述 请求中缺少必须的请求参数，请结合ErrorMessage判断缺少哪些请求参数 问题原因 没有按照对象存储OSS产品API接口文档中的请求头描述信息填写请求时必须填写的请求头信息。解决方案 按照对象存储OSS产品API接口文档中的请求头设置...
功能支持情况
本文介绍OSS-HDFS服务的功能支持情况。说明 以下表格中OSS-HDFS服务功能支持情况标注为 不适用，表明对应操作仅针对OSS对象，而非OSS-HDFS文件。Bucket级别 操作 说明 OSS-HDFS服务功能支持情况 存储类型 OSS提供标准、低频访问、归档、冷...
常见问题
JavaSDK实现数据流分片上传的代码样例 对象存储OSS使用JavaSDK的ContentMD5提示“log4j”错误 设置跨域规则后调用OSS时仍然报“No 'Access-Control-Allow-Origin'”的错误 对象存储OSS使用Java实现签名Header上传的示例 Python Python SDK...
数据库备份到OSS
背景 对象存储OSS 对象存储OSS 提供了标准类型存储，作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也提供了成本更低、存储期限更长的低频访问类型存储和归档类型存储，作为不经常访问数据的备份和归档。对象存储OSS非常...
迁移半托管JindoFS集群数据到OSS-HDFS服务
本文介绍如何将半托管JindoFS集群迁移到OSS-HDFS服务。前提条件 半托管JindoFS集群对应的OSS Bucket已开通OSS-HDFS服务。半托管JindoFS集群已开启AuditLog。使用最新版本JindoSDK。下载地址，请参见 GitHub。步骤一：全量迁移 全量迁移模式...
通过RootPolicy访问
OSS-HDFS服务支持RootPolicy。您可以通过RootPolicy为OSS-HDFS服务设置自定义前缀，在无需修改原有访问 hdfs:/前缀作业的基础上，将作业直接运行在OSS-HDFS服务上。前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请...
- 产品推荐
- 这些文档可能帮助您