通过SSH隧道方式访问开源组件Web UI
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
SELECT INTO OUTFILE
hadoop.username HDFS用户名。dfs.nameservices Name Service名称，与hdfs-site.xml保持一致。dfs.ha.namenodes.[nameservice ID]NameNode的ID列表，与hdfs-site.xml保持一致。dfs.namenode.rpc-address.[nameservice ID].[name node ID]...
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
安全组检查
Hadoop YARN远程运维端口暴露 8088端口允许任意IP访问，关联的Hadoop YRAN可能被暴力破解入侵。建议您在 ECS管理控制台 的 安全组列表 页面配置拒绝公网IP对服务器8088端口的访问。并在 云防火墙控制台 的 防护配置 中开启威胁情报，基础...
异构数据源访问
服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：9820 E-MapReduce集群：9000 具体端口号请参见配置文件hdfs-site.xml->dfs.namenode.rpc-address中的端口号。DataNode IPC Hadoop2.x版本：50020 Hadoop3.x版本：9867 具体...
搭建Hadoop环境
实例安全组的入方向规则已放行22、443、8088（Hadoop YARN默认的Web UI端口）、9870（Hadoop NameNode默认的Web UI端口）端口。具体操作，请参见 添加安全组规则。背景信息 Apache Hadoop软件库是一个框架，它允许通过简单的编程模型在由多...
创建Hive数据源
Web UI Port 和 IPC Port 在CDH5环境下默认是50070和8020，您可根据实际情况填写对应的端口。配置文件 上传Hadoop的配置文件 hdfs-site.xml 和 core-site.xml，配置文件可在Hadoop集群导出。开启Kerberos Kerberos是一种基于对称密钥技术的...
HDFS
在集群中任意一台机器上，测试HDFS访问是否正常，执行如下命令，例如 hadoop fs-ls hdfs:/192.168.24.247:8020：hadoop fs-ls hdfs:/HDFS主节点IP:HDFS 服务端口 说明 如果返回HDFS中的目录信息，说明访问正常。如果返回信息为拒绝连接，则...
HDFS
在集群中任意一台机器上，测试HDFS访问是否正常，执行如下命令，例如 hadoop fs-ls hdfs:/192.168.24.247:8020：hadoop fs-ls hdfs:/HDFS主节点IP:HDFS 服务端口 说明 如果返回HDFS中的目录信息，说明访问正常。如果返回信息为拒绝连接，则...
新建ArgoDB数据源
配置文件 用于上传Hadoop的配置文件，例如 hdfs-site.xml、core-site.xml，配置文件可在Hadoop集群导出。认证方式 如果HDFS集群无需认证，则选择 无认证；如果HDFS集群需要认证，Dataphin支持 Kerberos。若选择 Kerbero 认证方式需配置相关...
创建TDH Inceptor数据源
配置文件 用于上传Hadoop的配置文件，例如 hdfs-site.xml、core-site.xml，配置文件可在Hadoop集群导出。认证方式 如果HDFS集群无需认证，则选择 无认证；如果HDFS集群需要认证，Dataphin支持选择 Kerberos。若选择 Kerbero 认证方式需配置...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
详细分析 Kinsing僵尸网络通过Hadoop Yarn RPC未授权访问漏洞入侵后会下载Bash脚本进行安全终端卸载、关闭SELINUX、结束其他挖矿团伙进程、挖矿木马下载执行等操作，具体分析如下：f.sh分析 Kinsing僵尸网络入侵主机后会通过IP、端口结束...
文件分析
示例 读取并访问HDFS存储上的CSV格式文件：MySQL[(none)]>SELECT*FROM hdfs("uri"="hdfs:/127.0.0.1:842/user/doris/csv_format_test/student.csv","fs.defaultFS"="hdfs:/127.0.0.1:8424","hadoop.username"="doris","format"="csv");...
使用EasyRec读取Hive表
将DataScience集群的所有公网IP地址，添加至Hadoop集群的安全组中，端口为10000和9000，详情请参见 添加安全组规则。修改 ml_on_ds 目录下的文件。上传获取到的 dsdemo*.zip 至DataScience集群的header节点。通过SSH方式连接DataScience...
访问HBase HDFS
在一些场景下，比如需要bulkload导入数据，需要打开HBase集群的HDFS端口。注意：HDFS端口打开后，因误操作HDFS导致的数据丢失等问题客户自身承担，客户需要对HDFS的操作比较了解。首先联系 云HBase答疑（s0s3eg3），开通HDFS（由于HDFS的...
搭建与管理（基于Hadoop）
HMS服务地址 目标Hadoop集群的Active和Standby NameNode的Hive元数据服务地址和端口号（端口号通常是9083）。具体详情，请您联系Hadoop集群管理员获取。集群名称 在Hadoop集群高可用环境下用于指代NameNode的名称。自构建Hadoop集群场景下...
HDFS Web UI介绍
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
概述
Avro是Hadoop提供的一种协议，用于数据序列化。Exec Source：通过监听命令行输出获取数据，例如 tail-f/var/log/messages。NetCat TCP Source：监听指定TCP端口获取数据，与Netcat UDP Source类似。Taildir Source：监控目录下的多个文件，...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
Hadoop Streaming
hadoop jar/usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-X.X.X.jar-file/home/hadoop/mapper.py-mapper mapper.py-file/home/hadoop/reducer.py-reducer reducer.py-input/tmp/hosts-output/tmp/output 参数 描述 ...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
UDF（地理空间）
cd spatial-framework-for-hadoop mvn clean package-DskipTests-P java-8,hadoop-2.7,hive-2.1 复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
更换集群损坏的本地盘
hadoop$mount_path/log/hadoop-hdfs chmod 775$mount_path/log/hadoop-hdfs mkdir-p$mount_path/log/hadoop-yarn chown hadoop:hadoop$mount_path/log/hadoop-yarn chmod 755$mount_path/log/hadoop-yarn mkdir-p$mount_path/log/hadoop-...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
在ECI中访问HDFS数据
usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
常见问题排查
例如：执行 hadoop 命令或者任务出现如下错误时，表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中，该类所属的Jar包为 hadoop-common-x.x.x.jar，需要您下载该Jar包的正确版本，并将其置于所有Hadoop环境下的...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
通过HDP 2.6 Hadoop读取和写入OSS数据
client/hadoop-aliyun-2.7.3.2.6.1.0-129.jar hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/aliyun-*hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/jdom-1.1.jar hadoop/share/...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
- 产品推荐
- 这些文档可能帮助您