开源存储-开源存储文档介绍内容-阿里云

迁移开源HDFS的数据到文件存储 HDFS 版

迁移<em>开源</em>HDFS的数据到文件<em>存储</em> HDFS 版

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储 HDFS 版。背景信息当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版可以帮助您实现将开源HDFS的数据迁移到云...

方案分析

很多企业选择开源HBase来存储账号关系，开源HBase在满足了上述四个特征的同时可以把系统搭建起来，但是仍会有如下问题：对比项表格存储开源HBase 运维复杂度全托管的分布式NoSQL存储服务，无需任何运维需要自己运维、调查问题、修复...

JindoFS块存储模式

应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点开源OSS E-...

Dataphin开发模块中上传的资源文件是存储在哪里的

问题描述 Dataphin开发模块中上传的资源文件是存储在哪里的？解决方案如果计算类型选择了具体的计算引擎，那么是存在对应的计算引擎上的，比如计算类型选择了MaxCompute，那么资源文件就是存在MaxCompute上的。如果计算类型选择‘无归属...

开源Flink写入OSS-HDFS服务

开源Flink不支持流式写入OSS-HDFS服务，也不支持以EXACTLY_ONCE语义写入存储介质。当您希望开源Flink以EXACTLY_ONCE语义流式写入OSS-HDFS服务，需要结合JindoSDK。说明如果您不希望通过Flink流式写入OSS-HDFS服务前部署JindoSDK，您可以...

性能测试

开源GeoMesa（HBase）GeoMesa的版本为3.0.0。底层存储为HBase集群。HBase的节点规格和数量：3节点16核 32 GB（独享规格）。HBase的Core磁盘类型：SSD云盘。云数据库MongoDB分片集群配置Mongos节点和Shard节点。数据库版本：MongoDB 5.0。...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive JindoFS分层...

分层存储命令使用说明

EMR-3.30版本JindoFS引入分层存储功能。通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive JindoFS分层...

开通并配置OSS存储分析

EMR Doctor支持分析OSS上的数据，开通OSS存储分析功能可以帮助您进一步了解OSS存储资源的使用情况和健康状态，让您更好地治理存储在OSS上的数据。背景信息 OSS提供了存储清单功能，配置该功能后会定期为Bucket生成清单文件，清单文件中保存...

存储说明

存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月说明实际价格请以控制台...

通过OSS SDK接入开源生态

您可以通过OSS SDK接入多种开源生态。开源生态说明使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用...

使用Tablestore作为存储后端

JindoFS元数据服务支持不同的存储后端，本文介绍使用Tablestore（OTS）作为元数据后端时需要进行的配置。前提条件已创建EMR集群。详情请参见创建集群。已创建Tablestore实例，推荐使用高性能实例。详情请参见创建实例。说明需要开启...

JindoFS块存储模式使用说明

块存储模式（Block）提供了最为高效的数据读写能力和元数据访问能力。数据以Block形式存储在后端存储OSS上，本地提供缓存加速，元数据则由本地Namespace服务维护，提供高效的元数据访问性能。本文主要介绍JindoFS的块存储模式及其使用方式...

使用OSS作为HBase的底层存储

在EMR-5.6.0及以后版本和EMR-3.40.0及以后版本中使用HBase时，您可以存储HBase的数据在OSS上。本文为您介绍HBase on OSS架构，以及如何使用OSS作为HBase的底层存储。背景信息 HBase on OSS的架构如下图所示。说明从架构图可以看到，本文不...

使用OSS-HDFS作为HBase的底层存储

E-MapReduce控制台的DataServing类型的集群支持存储数据在OSS-HDFS上（WAL数据存储在HDFS上）。本文为您介绍如何使用OSS-HDFS作为HBase的底层存储。背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全...

使用OSS存储Checkpoint和Savepoint

本文通过示例为您介绍如何在E-MapReduce on ACK的Flink集群中配置OSS来存储Flink作业的Checkpoint和Savepoint。前提条件已在E-MapReduce on ACK控制台创建Flink集群，详情请参见快速入门。操作步骤 Flink on ACK使用的默认镜像已处理好...