搭建Hadoop环境
重要 出于系统安全和稳定性考虑，不推荐使用root用户来启动Hadoop服务。您可以通过非root用户身份启动Hadoop服务，例如 ecs-user 用户等。背景信息 Apache Hadoop软件库是一个框架，它允许通过简单的编程模型在由多台计算机组成的集群上对...
环境准备
java-version java version"1.8.0_77"Java(TM)SE Runtime Environment(build 1.8.0_77-b03)Java HotSpot(TM)64-Bit Server VM(build 25.77-b03,mixed mode)安装并启动Hadoop环境 下载2.6.0版本以上的Hadoop安装包，具体下载路径请参见 ...
什么是EMR on ECS
易用性 分钟级别启动Hadoop集群，敏捷响应业务需求。采购服务器，部署Hadoop生态组件，周期长达数周。弹性 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构，轻松分别扩展计算...
从OSS迁移数据
{HADOOP_HOME}/bin/hadoop du-h oss:/<accessKeyId>:<accessKeySecret>@<bucket-name>.<endpoint>/test_data 启动Hadoop MapReduce任务（DistCp）将测试数据迁移至文件引擎。{HADOOP_HOME}/bin/hadoop distcp \ oss:/<accessKeyId>:...
文件存储 HDFS 版和对象存储OSS双向数据迁移
执行命令${HADOOP_HOME}/bin/hadoop fs-du-s oss:/<bucket>/返回示例 启动Hadoop MapReduce任务（DistCp）将测试数据迁移至 文件存储 HDFS 版。{HADOOP_HOME}/bin/hadoop distcp \ oss:/<bucket>/<path>\ dfs:/f-xxxxxxx....
创建Doris集群
引导操作：可选配置，您可以在集群启动Hadoop前执行您自定义的脚本，详情请参见 管理引导操作。标签：可选配置，您可以在创建集群时绑定标签，也可以在集群创建完成后，在集群详情页绑定标签，详情请参见 设置标签。资源组：可选配置。详情...
创建EMR Studio集群
引导操作 可选配置，您可以在集群启动Hadoop前执行您自定义的脚本，详情请参见 引导操作。标签 可选配置，您可以在创建集群时绑定标签，也可以在集群创建完成后，在集群详情页绑定标签，详情请参见 设置标签。资源组 可选配置。详情请参见 ...
创建DataFlow Kafka集群
引导操作：可选配置，您可以在集群启动Hadoop前执行您自定义的脚本，详情请参见 管理引导操作。标签：可选配置，您可以在创建集群时绑定标签，也可以在集群创建完成后，在集群详情页绑定标签，详情请参见 设置标签。资源组：可选配置。详情...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件...{HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter dfs_test 重要 在YARN上执行MapReduce计数前需要先在Hadoop集群中启动YARN服务。
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
数据同步
ls/tmp/cdc/staging_sales/Found 2 items-rw-r-2 hadoop hadoop 0 2019-11-26 11:11/tmp/cdc/staging_sales/_SUCCESS-rw-r-2 hadoop hadoop 93 2019-11-26 11:11/tmp/cdc/staging_sales/part-m-00000 为更新数据建立临时表，然后MERGE到...
通过Spark导入数据
本示例中使用Spark安装包：spark-3.1.2-bin-hadoop3.2.tgz。wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz tar xvzf spark-3.1.2-bin-hadoop3.2.tgz 将spark-selectdb-connector-3.2_2.12-1.0.1....
配置同步任务
并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的记录数超过多少条则任务中止。默认为0条，即不允许出错。配置同步任务的调度参数，详情请参见 调度配置。保存、提交和发布同步任务：单击页面上方的 图标，保存...
启动实时检测与分析
开启健康检查功能的具体操作，请参见 开通EMR Doctor（Hadoop集群类型）。启动实时检测 进入基础信息页面。登录 EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击目标集群的集群名称。单击上方的 健康检查 页签。...
Ambari与文件引擎集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
基于eRDMA增强型实例部署Spark集群
执行以下命令，启动HDFS及Yarn。HADOOP_HOME/sbin/start-all.sh 步骤二：下载Benchmark安装包 本步骤为您介绍如何下载用于测试的Benchmark安装包。执行以下命令，下载Benchmark安装包。wget ...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
手工缩容节点组
Hadoop集群 touch/etc/ecm/hadoop-conf/dfs.exclude vim/etc/ecm/hadoop-conf/dfs.exclude 在vim下输入 o，新开始一行，填写下线的DataNode的hostname。emr-worker-3.cluster-xxxxx emr-worker-4.cluster-xxxxx 非Hadoop集群 touch/etc/...
HDFS服务日志
组件 日志 说明 ZKFailoverController（ZKFC）hadoop-hdfs-zkfc-*.out ZKFC的进程启动日志，部分启动异常会显示在out文件中。hadoop-hdfs-zkfc-*.log ZKFC的进程运行日志，包含ZKFC的内部日志。zkfc-gc.log.0.current ZKFC的JVM GC日志，...
Hadoop使用JindoSDK访问OSS-HDFS服务
vim/etc/profile export HADOOP_HOME=usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH source/etc/profile 更新Hadoop配置文件中的 HADOOP_HOME。cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。...
Spark作业异常排查及处理
如果很多orc相关的线程，则在Spark任务启动前设置-conf spark.hadoop.hive.exec.orc.split.strategy=BI，再重新启动Spark任务。如果是Spark2.x版本，还需要查看 spark.sql.adaptive.enabled 是否为true，如果为true，需要修改为false。...
写入文件提示无法满足最小写入副本要求
hadoop dfs-ls/检查DataNode服务是否启动。登录DataNode服务所在节点，请参见 登录集群。切换到hdfs用户。su-hdfs 执行以下命令，查看是否有DataNode进程正在运行。jps 如果返回信息中包含DataNode，则表示DataNode进程正在运行。如果【Y】...
Node Labels特性使用
重要 自定义的分布式路径必须确保文件系统服务正常且hadoop用户能正常读写访问，否则ResourceManager会启动失败。添加节点分区映射时为什么不指定NodeManager端口？EMR集群一个节点上最多只有一个NodeManager进程，所以指定端口没有太大的...
产品概述
形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装部署在ECS上，并启动相应的服务。您可以在EMR控制台完成对集群ECS及服务的运维操作。关于EMR on ECS的更多介绍，请参见 什么是EMR on ECS。EMR on ACK 您需要先完成ACK集群的安装...
产品简介
形态 描述 EMR on ECS EMR负责将开源Hadoop生态的组件安装部署在ECS上，并启动相应的服务。您可以在EMR控制台完成对集群ECS及服务的运维操作。关于EMR on ECS的更多介绍，请参见 什么是EMR on ECS。EMR on ACK 您需要先完成ACK集群的安装...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
常见问题
sudo rm-rf/mnt/disk2/zookeeper&sudo cp-rf/mnt/disk1/zookeeper/mnt/disk2/zookeeper&sudo chown hadoop:hadoop-R/mnt/disk2/zookeeper 启动master-1-1节点。在ZooKeeper服务的 状态 页签，单击ZookeeperServer操作列的 启动。在弹出的...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
- 产品推荐
- 这些文档可能帮助您