使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
手动集成Ranger Kafka插件
当E-MapReduce（简称EMR）的DataFlow集群没有安装Ranger Kafka插件，或当前集群中的Ranger Kafka插件版本与实际使用的Ranger服务不兼容时，您需要进行手动集成。本文介绍如何手动安装Ranger Kafka插件以及配置生效Ranger Kafka插件。前提...
DSW连接EMR集群
仅支持以下类型的EMR集群：DataLake集群 安装了Spark3和Hadoop的自定义集群 说明 每个DSW实例最多可以连接一个EMR集群，连接完成后不支持切换到其它集群。前提条件 已开通 EMR 并创建EMR集群，具体操作，请参见 创建集群。已创建DSW实例，...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
迁移HDFS数据到OSS
说明 如果您需要在开源Hadoop集群环境中使用lzo的压缩方式，请确保已安装gplcompression的native库和hadoop-lzo包。如果缺少相关环境，建议使用其他压缩方式进行压缩。codec gz-policy 指定拷贝到OSS后的文件类型。取值：ia：低频访问 ...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
Jindo DistCp使用说明
说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。outputManifest和-requirePreviousManifest-outputManifest 可以指定生成DistCp的清单文件，用来记录copy过程中的目标文件、源...
文件存储 HDFS 版和对象存储OSS双向数据迁移
已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已开通对象存储OSS服务并创建存储空间（Bucket）。具体操作，请参见 对象存储OSS快速...
在文件存储 HDFS 版上使用Presto
已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli...
JindoDistCp使用说明
02-01/03/emp01.txt.gz-rw-rw-rw-1 506 2020-04-17 20:58 oss:/example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz 说明 如果您想在开源Hadoop集群环境中使用编解码器lzo，则需要安装gplcompression的native库和hadoop-lzo包。...
插件配置概述
全部 安装、卸载 repository-hdfs Hadoop分布式文件系统HDFS（Hadoop Distributed File System）存储库插件，提供了对HDFS存储库的支持。全部 安装、卸载 sql SQL查询插件。5.5.3 安装、卸载 x-pack Elasticsearch的一个商业版扩展包，将...
EMR Doctor常见问题
EMR Doctor在安装和升级过程中不会重启任何服务，本身过程也不会对您现有任务产生任何影响，并且在安装结束后，EMR Doctor会将必要参数配置到现有集群中，不需要您再手动进行配置。EMR Doctor在安装和升级过程中会对YARN、Spark、Tez和Hive...
集群管理常见问题
EMR Doctor在安装和升级过程中不会重启任何服务，本身过程也不会对您现有任务产生任何影响，并且在安装结束后，EMR Doctor会将必要参数配置到现有集群中，不需要您再手动进行配置。EMR Doctor在安装和升级过程中会对YARN、Spark、Tez和Hive...
Hadoop集群迁移至DataLake集群
说明 EMR Doctor在旧平台集群需要申请安装，详情请参见 开通EMR Doctor（Hadoop集群类型）。明确迁移方案和时间节奏 根据您当前大数据业务情况和实际每个旧集群配置情况，确定最终迁移目标，明确以下关键信息，并参考后续迁移步骤合理规划...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
自助建站方式汇总
环境类型 部署方式 说明 搭建Hadoop环境 手动搭建Hadoop环境 本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。更换镜像部署Windows环境 云市场镜像集成了操作系统和应用程序，您可以使用阿里云市场镜像快速部署ECS...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
常用文件路径
etc/emr/zookeeper-conf/旧版数据湖集群 大数据组件安装目录 软件安装在/usr/lib/xxx 目录下，例如：Hadoop：/usr/lib/hadoop-current Spark：/usr/lib/spark-current Hive：/usr/lib/hive-current Flink：/usr/lib/flink-current Flume：...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
更换集群损坏的本地盘
hadoop$mount_path/log/hadoop-hdfs chmod 775$mount_path/log/hadoop-hdfs mkdir-p$mount_path/log/hadoop-yarn chown hadoop:hadoop$mount_path/log/hadoop-yarn chmod 755$mount_path/log/hadoop-yarn mkdir-p$mount_path/log/hadoop-...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
- 产品推荐
- 这些文档可能帮助您