Tablestore HBase Client
相比自行搭建HBase服务，表格存储的优势请参见下表。对比项 表格存储 自建HBase集群 成本 根据实际用量进行计费，提供高性能与容量型两种规格实例，适用于不同的应用场景。需要根据业务峰值进行资源配置，空闲时段资源被闲置，租用及人工运...
产品优势
本文介绍了 表格存储 的优势，包括多模型数据存储、多元化数据索引、多计算生态接入、访问安全性等。多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
从自建HDFS迁移数据
背景介绍 在某些场景下面，我们需要从自建的Hadoop中存储的数据迁移到Lindorm的文件引擎当中。适用范围 阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。修改Hadoop 配置信息，详情请参见 ...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
JindoFS实战演示
Hadoop/Spark访问OSS加速 Hadoop/Spark访问OSS加速 2021-05-25 与开源的Hadoop-OSS-SDK相比，JindoFS SDK具有更优异的性能表现。能够兼容大部分的Hadoop版本、由阿里云EMR Hadoop专业团队维护、可靠性高、能够及时跟进OSS最新特性和优化、...
测试环境
数量：5 类型：阿里云ECS 区域：华东1 可用区F 规格：共享计算型 配置：CPU：8核 内存：8 GB 实例类型：I/O优化 网络类型：经典网络 操作系统：Ubuntu 16.04 64位 说明 由于公网环境网络质量无法保障，对表格存储的操作均是延迟敏感型，...
实例类型
例如：主实例节点（Master）：部署Hadoop HDFS的NameNode服务、Hadoop YARN的ResourceManager服务。核心实例节点（Core）：部署DataNode服务、Hadoop YARN的NodeManager服务。计算实例节点（Task）：只进行计算，部署Hadoop YARN的...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
阿里云提供OSS/OSS-HDFS作为HDFS的替代或补充，扩展云上Hadoop平台的存储能力。JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。...
使用Fuse-DFS挂载文件存储 HDFS 版
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已下载与Hadoop集群版本相同的Hadoop源码包。具体下载地址请参见 下载Hadoop源码包。背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块，提供了使用FUSE...
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
迁移Hadoop文件系统数据至JindoFS
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
文件存储 HDFS 版和对象存储OSS双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已开通对象存储OSS服务并创建存储空间（Bucket）。具体操作，请参见 对象存储OSS快速入门。背景信息 阿里云 文件存储 HDFS 版 是面向阿里云ECS实例及...
在文件存储 HDFS 版上使用Apache Flink
本文介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
基于Hadoop集群支持Delta Lake或Hudi存储机制
MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 MaxCompute基于开源的Hadoop集群和阿里云EMR（E-MapReduce）提供了支持Delta Lake或...
在文件存储 HDFS 版上使用Apache Spark
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
准备工作
当阿里云E-MapReduce的Hadoop集群在VPC中时，请确保已绑定表格存储的实例和E-MapReduce的Hadoop集群所在的VPC。具体操作，请参见（可选）绑定VPC。已开通DataV服务并制作大屏。具体操作，请参见 开通DataV服务。数据准备 产品 数据收集 ...
使用Druid
对于生产环境，建议您使用专门的Hadoop集群。配置集群 配置HDFS作为E-MapReduce Druid的Deep Storage。对于独立的E-MapReduce Druid集群，如果您需要存放索引数据至一个Hadoop集群的HDFS，请设置两个集群的连通性（详情请参见 与Hadoop集群...
环境准备
java-version java version"1.8.0_77"Java(TM)SE Runtime Environment(build 1.8.0_77-b03)Java HotSpot(TM)64-Bit Server VM(build 25.77-b03,mixed mode)安装并启动Hadoop环境 下载2.6.0版本以上的Hadoop安装包，具体下载路径请参见 ...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
挂载文件存储 HDFS 版文件系统
本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK，且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端，建议您使用...
迁移开源HDFS的数据到文件存储 HDFS 版
迁移集群上安装的Hadoop版本不低于2.7.2。说明 如果原集群满足上述条件且计算资源充足，可以直接将原集群当作迁移集群使用，不必额外创建新集群。在迁移集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储HDFS版文件系统。...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
E-MapReduce数据迁移
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中，对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
Hadoop使用JindoSDK访问OSS-HDFS服务
OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
使用回收站
hadoop fs-rm oss:/bucket/a/b/c 客户端的Hadoop Shell命令默认不开启Trash功能，因此需要在 core-site.xml 里添加配置来开启Trash功能。name>fs.trash.interval</name><value>1440</value></property>说明 该value取值只需大于...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
经测试可知，对于8032暴露在互联网且未开启kerberos的Hadoop Yarn ResourceManager，编写应用程序调用 yarnClient.getApplications()即可查看所有应用信息。Kinsing僵尸网络同时使用了早前披露且影响面较广的Hadoop Yarn Rest API未授权...
集群存储根路径没有权限，导致集群服务启动失败的问题
问题详情 在E-MapReduce控制台，集群的Hadoop-Common服务 状态 页面的 健康检查项 区域，查看异常状态的检查结果，显示信息中包含[hadoop_fs_availability]DefaultFS is unable to access，将鼠标悬浮至 图标时，提示 fs.defaultFS不可访问...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
从OSS迁移数据
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
使用限制
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
文件存储 HDFS 版和数据库MySQL双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如...
使用E-Mapreduce访问
hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...
- 产品推荐
- 这些文档可能帮助您