存储厂家 e厂-存储厂家 e厂文档介绍内容-阿里云

环境准备

使用Hive/HadoopMR来访问表格存储中的表通过表格存储及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive及HadoopMR来访问表格存储中的数据并进行数据分析。安装JDK-7+下载并安装JDK-7+安装包。Linux/macOS系统：使用系统自带的包...

概述

使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景功能特性对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到文件存储 HDFS 版文件系统。背景信息阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

准备工作

当阿里云E-MapReduce的Hadoop集群在VPC中时，请确保已绑定表格存储的实例和E-MapReduce的Hadoop集群所在的VPC。具体操作，请参见（可选）绑定VPC。已开通DataV服务并制作大屏。具体操作，请参见开通DataV服务。数据准备产品数据收集 ...

SmartData使用说明（EMR-3.20.0~3.22.0版本）

应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点开源OSS E-...

JindoFS块存储模式

应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点开源OSS E-...

管理共享存储

E-HPC所有用户数据、调度器信息、作业数据等信息都会存储在共享的文件系统中，供集群所有节点访问，以提高集群的共享存储能力。创建E-HPC集群时，您必须为集群挂载一个文件系统。如果您有更多的存储需求，可以为集群挂载新的存储资源，来...

存储说明

本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息关于存储的类型、性能和相关的限制信息，请参见什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...

转换文件存储类型

OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件（Object）的存储类型。注意事项当您使用webpack或browserify等打包工具时，请通过 npm install ali-oss 的...

OSS参考使用说明

本文介绍在E-MapReduce作业配置中使用的OSS URI。OSS URI 使用E-MapReduce时，通常会使用两种OSS URI：native URI：oss:/bucket[.endpoint]/object/path。您在作业中指定输入输出数据源时使用此URI，等同于 hdfs:/。您操作OSS数据时，可以...

卸载并释放E-MapReduce HDFS使用的云盘

背景信息当E-MapReduce已经成功运行在阿里云文件存储 HDFS 版上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建E-MapReduce HDFS服务的云盘，降低集群的拥有成本。重要从数据安全性考虑，数据迁移后...

SmartData使用说明（EMR-3.22.0~3.25.1版本）

JindoFS是一种云原生的文件系统，结合OSS和本地存储，成为E-MapReduce产品的新一代存储系统，为上层计算提供了高效可靠的存储。本文主要说明JindoFS的配置使用方式，以及介绍一些典型的应用场景。概述 JindoFS提供了块存储模式（Block）和...

在文件存储 HDFS 版上使用Apache HBase

说明如果您使用的是CDH或者阿里云E-MapReduce中内置的HBase，请参见在文件存储HDFS版上使用CDH6 和在文件存储HDFS版上使用E-MapReduce。步骤一：Hadoop集群挂载文件存储 HDFS 版实例在Hadoop集群中配置文件存储 HDFS 版实例。具体...

选型配置说明

存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月云盘的具体价格信息，请参见...

概述

文件存储NAS 阿里云文件存储NAS（Network Attached Storage）是一款面向阿里云ECS实例、E-HPC和容器服务等计算节点的高可靠、高性能的分布式文件系统，可共享访问、弹性扩展。NAS基于POSIX文件接口，天然适配原生操作系统。文件存储CPFS ...

列举存储空间

存储空间（Bucket）是用来存储对象（Object）的容器。对象都隶属于存储空间。存储空间按照字母顺序排列。您可以列举当前账号所有地域下符合指定条件的存储空间。注意事项使用示例前，需要初始化ossClient用于列举存储空间，初始化方法如下...

NAS存储卷FAQ

NAS存储卷挂载时间延长 NAS存储卷挂载失败时出现timeout错误使用NAS存储卷时，提示chown:option not permitted 挂载NAS存储卷失败使用NAS动态存储卷时Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长问题现象：NAS存储...

获取存储空间的访问权限

存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何获取存储空间访问权限（ACL）。存储空间的读写权限（ACL）有以下三类：访问权限描述访问权限值私有存储空间的拥有者和授权用户有该存储空间内的文件...

创建存储空间

存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何创建存储空间。注意事项使用本文示例前您需要先通过自定义域名、STS等方式新建OSSClient，具体请参见如何初始化Android端OSSClient实例。示例代码 ...

获取存储空间信息

存储空间（Bucket）是存储对象（Object）的容器。本文介绍如何获取存储空间的信息。注意事项使用本文示例前您需要先通过自定义域名、STS等方式新建OSSClient，具体请参见如何初始化Android端OSSClient实例。示例代码以下代码用于获取...

阿里云存储服务

文件存储阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。NAS提供极速型、通用性能型、...

管理存储空间读写权限

存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何设置和获取存储空间读写权限（ACL）。注意事项本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网...

JindoFS块存储模式使用说明

块存储模式（Block）提供了最为高效的数据读写能力和元数据访问能力。数据以Block形式存储在后端存储OSS上，本地提供缓存加速，元数据则由本地Namespace服务维护，提供高效的元数据访问性能。本文主要介绍JindoFS的块存储模式及其使用方式...