Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
配置弹性伸缩（仅Hadoop集群类型）
当您的业务量需求不断波动时，建议您开启弹性伸缩功能并配置相应的伸缩规则，以便于E-MapReduce（简称EMR）可以按业务量波动增加或减少Task节点。确保作业完成的同时，可以节省成本。本文为您介绍如何在EMR控制台配置弹性伸缩。前提条件 已...
使用Flink访问
scp-r hadoop-2.7.3/testuser@node2:/usr/local/验证Apache Hadoop配置 完成Hadoop配置后，不需要格式化namenode，也不需要使用start-dfs.sh来启动HDFS相关服务。如需使用yarn服务，只需在resourcemanager节点启动yarn服务，具体验证Hadoop...
在文件存储 HDFS 版上使用Apache Spark
scp-r hadoop-2.7.2/hadoop@cluster-worker-1:/usr/local/步骤二：验证Hadoop配置 完成Hadoop配置后，不需要格式化NameNode，也不需要使用start-dfs.sh来启动HDFS相关服务。如需使用YARN服务，只需在ResourceManager节点启动YARN服务。具体...
在文件存储 HDFS 版上使用Apache Flink
scp-r hadoop-2.7.2/hadoop@cluster-worker-1:/usr/local/步骤二：验证Hadoop配置 完成Hadoop配置后，不需要格式化NameNode，也不需要使用start-dfs.sh来启动HDFS相关服务。如需使用YARN服务，只需在ResourceManager节点启动YARN服务。具体...
使用Spark访问
scp-r hadoop-2.7.2/testuser@node2:/usr/local/验证Apache Hadoop配置 完成Hadoop配置后，不需要格式化namenode，也不需要使用 start-dfs.sh 来启动HDFS相关服务。如需使用yarn服务，只需在resourcemanager节点启动yarn服务，具体验证...
从自建HDFS迁移数据
修改Hadoop 配置信息，详情请参见 使用开源HDFS客户端访问。检查自建的Hadoop集群和Lindorm文件引擎的连通性。在自建的Hadoop 集群上执行以下命令测试集群的连通性。hadoop fs-ls hdfs:/${实例Id}/其中${实例Id}请根据您的实际情况进行修改...
在非EMR集群中部署JindoSDK
Hadoop配置文件 执行以下命令，配置OSS/OSS-HDFS实现类及AccessKey。进入Hadoop的 core-site.xml 配置文件。vim/usr/local/hadoop/etc/hadoop/core-site.xml 将OSS/OSS-HDFS实现类配置到Hadoop的 core-site.xml 中。...
搭建Hadoop环境
步骤三：配置Hadoop 修改Hadoop配置文件 core-site.xml。执行以下命令，进入编辑页面。sudo vim/opt/hadoop/etc/hadoop/core-site.xml 输入 i，进入编辑模式。在<configuration></configuration>节点内，插入如下内容。name>...
Trino使用JindoSDK查询OSS-HDFS服务中的数据
将OSS-HDFS服务实现类配置到Trino所有节点上的Hadoop配置文件 core-site.xml 中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
ZKFC Mismatched address异常
8021 问题原因 该问题通常说明高可用集群中的ZKFC在ZooKeeper中存储的NameNode的信息与Hadoop配置文件中的不匹配，导致HDFS无法选出Active NameNode。存储在ZKFC中的端口是8020，而实际的NameNode ServiceRPC的端口是8021。早期部分EMR版本...
Paimon数据源
SelectDB会优先读取conf目录下的Hadoop配置文件，再读取环境变量 HADOOP_CONF_DIR 的相关配置文件。当前适配的Paimon版本为0.5.0。创建Catalog Paimon Catalog支持基于两种Metastore类型创建Catalog：Filesystem（默认）：元数据和数据均...
Hadoop使用JindoSDK访问OSS-HDFS服务
vim/etc/profile export HADOOP_HOME=usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH source/etc/profile 更新Hadoop配置文件中的 HADOOP_HOME。cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。...
从OSS迁移数据
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
常见问题
添加完Alluxio服务后，您需要重启服务来加载Hadoop配置。重启服务的具体操作，请参见 重启服务。如何排查Alluxio服务状态异常的问题？您需要报错信息先查找Alluxio服务异常的节点，找到异常信息，然后查看Alluxio服务的异常日志来确认问题...
安装文件系统SDK
配置Hadoop 本节以Hadoop 2.7.2版本为例，介绍如何配置Hadoop。下载 Hadoop，建议版本不低于2.7.2。执行以下命令，解压Hadoop压缩包。tar-zxf hadoop-2.7.2.tar.gz 执行以下命令，设置Hadoop工作环境变量。export HADOOP_HOME=...
YARN高安全特性使用指南
说明 yarn.admin.acl=hadoop 配置值的通常格式为 用户 用户组，前面是用户，后面是用户组，中间使用空格分割，用户和用户组可配置多个，均使用逗号（,）分割。例如，user1,user2 group1,group2，只有用户组的情况下，必须在最前面加上空格...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
更多的ES-Hadoop配置项说明，请参见 官方配置说明。保存并运行作业。运行成功后，结果如下。步骤三：通过Hive写入索引数据 创建一个 HiveSQL 类型的写数据作业。作业配置如下。add jar hdfs:/tmp/hadoop-es/elasticsearch-hadoop-hive-6.7....
在文件存储 HDFS 版上使用Apache HBase
如果在环境变量中已配置HADOOP_HOME及HADOOP_CLASSPATH也可以执行以下命令进行RowCounter计算。{HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter dfs_test 重要 在YARN上执行MapReduce计数前需要先在Hadoop集群中启动...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
更多的ES-Hadoop配置项说明，请参见 官方配置说明。将代码打成Jar包，上传至EMR客户端机器（例如Gateway或EMR集群主节点）。在EMR客户端机器上，运行如下命令执行MapReduce程序。hadoop jar es-mapreduce-1.0-SNAPSHOT.jar/tmp/hadoop-es/...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
配置MoveTo工具在HDFS下的锁目录 在Hadoop配置文件 core-site.xml 或 hdfs-site.xml（任选一个即可，在$HADOOP_CONF_DIR 目录下）新增配置项 jindotable.moveto.tablelock.base.dir。该配置的值应指向一个HDFS目录，目的是存放MoveTo工具在...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
更多的ES-Hadoop配置项说明，请参见 官方配置说明。将代码打成Jar包，上传至EMR客户端机器（例如Gateway或EMR集群主节点）。在EMR客户端机器上，运行如下命令执行Spark程序：写数据 cd/usr/lib/spark-current./bin/spark-submit-master ...
管理Hive Catalog
oss:/${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/用于存放Hadoop配置文件，包括core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。创建成功后，您可以在 文件列表 页面中，查看新建的目录及文件，并复制...
Hudi
说明 从Hudi 0.12.0开始支持，针对跨集群提交执行的需求，可以通过DDL指定per-job级别的hadoop配置。数据写入 Hudi支持丰富的写入方式，包括离线批量写入、流式写入等场景。支持丰富的数据类型，包括changelog以及log数据。同时支持不同的...
迁移HDFS数据到OSS
cn-hangzhou.aliyuncs.com --parallelism 10 通过配置文件预先配置AccessKey 进入Hadoop配置文件 core-site.xml 所在目录。cd/etc/emr/hadoop-conf/关于EMR中常用文件路径的更多信息，请参见 常用文件路径。打开core-site.xml文件。vim ...
非EMR集群接入OSS-HDFS服务快速入门
以安装包内容解压在/usr/lib/jindosdk-x.x.x-linux 目录为例：export JINDOSDK_HOME=usr/lib/jindosdk-x.x.x-linux 配置 HADOOP_CLASSPATH。export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${JINDOSDK_HOME}/lib/*重要 请将安装目录和环境变量...
JindoData版本说明
优化了Hadoop SDK，解决了在部分场景下可能出现的Hadoop配置并发修改异常ConcurrentModificationException的问题。优化了临时目录异常或者出现坏盘时，JindoMagicCommitter客户端写OSS的重试逻辑，以最大程度保证作业写入成功并避免...
使用PyJindo访问阿里云OSS-HDFS
其中，Hadoop配置文件及HADOOP_CONF_DIR不是必须，仅为兼容HADOOP环境中的配置。export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m...
Hive连接器
如果要引用现有的Hadoop配置文件，请确保将其拷贝到任何未运行Hadoop的Presto节点上。HDFS用户名与权限 在Presto中为Hive表运行任何 CREATE TABLE 或 CREATE TABLE AS 语句之前，都需要检查Presto用于访问HDFS的用户是否有权访问Hive的仓库...
通过开源HDFS客户端连接并使用文件引擎
配置Hadoop 执行以下命令，解压缩SDK包。tar-zxvf hadoop-2.7.3.tar.gz 添加Hadoop环境变量。export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/...
HAS Kerberos认证使用方法
scp root@emr-header-1:/etc/krb5.conf/etc/配置 hadoop.security.authentication.use.has 的值为 false。登录集群的emr-header-1节点。说明 HA集群也需要登录emr-header-1节点。登录详情请参见 登录集群。执行以下命令，编辑 core-site....
HBase使用OSS-HDFS服务作为底层存储
export JINDOSDK_HOME=usr/lib/jindosdk-x.x.x-linux export PATH=$JINDOSDK_HOME/bin:$PATH 配置 HADOOP_CLASSPATH。export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${JINDOSDK_HOME}/lib/*重要 请将安装目录和环境变量部署到所有所需节点上...
通过HDFS Shell连接并使用文件引擎
环境配置 请参见 下载客户端 和 配置Hadoop。常用命令 数据上传 下表为将本地数据上传至文件引擎的常用命令。命令 说明 put 从本地文件系统中复制单个或多个源路径到目标文件引擎。也支持从标准输入中读取输入写入目标文件引擎。...
网络开通流程
安全组配置内容如下：配置Hadoop集群所在安全组的入方向访问规则。授权对象为ENI所在的安全组，即步骤2中创建的安全组。HiveMetaStore端口：9083。HDFS NameNode端口：8020。HDFS DataNode端口：50010。例如，当您连接在阿里云E-MapReduce...
使用云企业网跨VPC访问文件存储 HDFS 版
已在需要访问 文件存储 HDFS 版 的ECS上配置Hadoop环境。具体操作，请参见 配置Hadoop 和 部署依赖。背景信息 云企业网CEN（Cloud Enterprise Network）是运行在阿里云私有全球网络上的一张高可用网络。通过转发路由器TR（Transit Router）...
Flume使用JindoSDK写入OSS-HDFS服务
export JINDOSDK_HOME=usr/lib/jindosdk-x.x.x-linux export PATH=$JINDOSDK_HOME/bin:$PATH 配置 HADOOP_CLASSPATH。export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${FLUME_HOME}/lib/*重要 请将安装目录和环境变量部署到每个节点Flume根...
数据导入常见问题
如何配置Hadoop ViewFS Federation？访问Kerberos认证的集群时，报错“Can't get Kerberos realm”，该如何处理？INSERT INTO 使用INSERT INTO语句导入数据时，SQL每插入一条数据大约耗时50~100ms，能否优化执行效率？使用INSERT INTO ...
弹性伸缩概述
使用方式 集群类型 相关文档 DataLake、Dataflow、OLAP和Custom集群 添加弹性伸缩规则 查看弹性伸缩活动 可视化弹性成本分析 查看集群资源概览 Hadoop集群 配置弹性伸缩（仅Hadoop集群类型）开启或关闭弹性伸缩（仅Hadoop集群类型）查看...
使用Druid
etc/ecm/druid-conf/druid/_common 说明 如果创建集群时选了自带Hadoop，则在上述目录下会有几个软链接指向自带Hadoop的配置，请先移除这些软链接。其中，hadoop.security.authentication.use.has 是客户端配置，目的是让用户能够使用...
Spark计算引擎
0运维 用户只需通过 AnalyticDB MySQL Serverless Spark接口管理Spark作业，无需关心服务器配置以及Hadoop集群配置，无需处理扩缩容等运维操作。作业级弹性 Serverless Spark按照Driver和Executor粒度申请创建资源，支持秒级拉起，可以快速...
- 产品推荐
- 这些文档可能帮助您