其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
实例类型
例如：主实例节点（Master）：部署Hadoop HDFS的NameNode服务、Hadoop YARN的ResourceManager服务。核心实例节点（Core）：部署DataNode服务、Hadoop YARN的NodeManager服务。计算实例节点（Task）：只进行计算，部署Hadoop YARN的...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
基础使用
本文为您介绍如何在E-MapReduce上提交Flink作业以及查看作业。背景信息 Dataflow集群中的Flink服务是以YARN模式部署的，您可以通过SSH方式登录Dataflow集群，在命令行中进行...相关文档 Flink on YARN的更多信息，请参见 Apache Hadoop YARN。
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
通过CDH5 Hadoop读取和写入OSS数据
HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*替换为 CLASSPATH=$HADOOP_YARN_HOME/${YARN_DIR}/*:${CLASSPATH}CLASSPATH=$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*:${CLASSPATH}。进入到Resurce Manager部署节点的${CDH_HOME}/lib/hadoop-...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
使用CreateCluster API创建集群
Common、YARN、HDFS或者OSS-HDFS任选其一 无 Trino Hadoop-Common 无 Flume Hadoop-Common 无 Kyuubi Hadoop-Common、YARN、Hive、Spark3、Zookeeper 无 YARN Hadoop-Common 无 Impala Hadoop-Common、YARN、Hive 无 Ranger Hadoop-Common...
删除应用
关闭此开关后，系统将无法监控您的应用，同时也不会产生费用，请您谨慎操作。卸载ARMS探针，具体操作，请参见 卸载ARMS探针。如有问题，请参见 常见问题概述。Agent卸载完成后，在应用设置页面单击 删除 页签。在 删除 页签单击 删除应用，...
删除应用
开启 此开关后，系统将无法监控您的应用，同时也不会产生费用，请您谨慎操作。卸载应用监控探针，具体操作，请参见 卸载ARMS探针。卸载ARMS探针，具体操作，请参见 卸载ARMS探针。如有问题，请参见 常见问题概述。Agent卸载完成后，在 上方...
搭建Hadoop环境
重要 需确保在ECS实例所在安全组的入方向中放行Hadoop YARN所需的8088端口，否则无法访问。具体操作，请参见 添加安全组规则。在本地浏览器地址栏输入 http://<ECS公网IP>:9870，访问NameNode的Web UI界面。该界面提供了有关HDFS文件系统...
如何使用Prometheus监控Kafka
对于 阿里云消息队列Kafka（简称阿里云Kafka），自建Prometheus无法监控到，导致无法实现一站式、全局视角的监控建设。对于部署在ECS上的自建Kafka，自建Prometheus缺少与阿里云ECS快速集成的服务发现（ServiceDiscovery）机制，因此无法...
如何使用Prometheus监控Kafka
对于 阿里云消息队列Kafka（简称阿里云Kafka），自建Prometheus无法监控到，导致无法实现一站式、全局视角的监控建设。对于部署在ECS上的自建Kafka，自建Prometheus缺少与阿里云ECS快速集成的服务发现（ServiceDiscovery）机制，因此无法...
常见问题
DataLake集群的日志路径为/var/log/emr/yarn/，Hadoop集群日志路径为/mnt/disk1/log/hadoop-yarn。tail/var/log/emr/yarn/*-hadoop-timelineserver-*.out 观察到输出日志中包含由com.sun.jersey组件产生的记录。为了禁止组件输出Jersey库的...
自定义配置
如果暂停应用监控，则系统将无法监控您的应用，请谨慎操作。要使对各插件开关的修改生效，必须手动重启应用。线程分析设置 在 线程分析设置 区域，可以打开或关闭线程分析总控开关、定期保存本地方法栈信息开关，并设置高耗时调用阈值。...
SDK概述
说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持...
YARN缺陷修复公告
mv$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.1.jar/tmp/cp hadoop-yarn-server-resourcemanager-3.2.1.jar$HADOOP_HOME/share/hadoop/yarn/命令中的$HADOOP_HOME 为Hadoop的安装目录。本文示例中Hadoop的...
使用Prometheus监控E-MapReduce
YARN-HOME YARN-Queues YARN-ResourceManager YARN-NodeManagers YARN-TimeLineServer YARN-JobHistory Hive指标 Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。...
使用Prometheus监控E-MapReduce
YARN-HOME YARN-Queues YARN-ResourceManager YARN-NodeManagers YARN-TimeLineServer YARN-JobHistory Hive指标 Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。...
常见问题
DataFlow集群中的Hadoop YARN的软件安装目录是/opt/apps/YARN/yarn-current，配置文件的目录是/etc/taihao-apps/hadoop-conf/，您需要将 yarn-current 目录及 hadoop-conf 目录下载到提交Flink作业的客户端上。然后，在提交Flink作业的客户...
将监控数据导出到自建Prometheus
注意事项 重要 由于云监控实时数据导出工具部署并运行在客户本地，云监控无法确保工具运行的稳定性，需要客户自行维护。如果您发现工具有问题，则可以给云监控提改进意见。云监控不对产生的任何意外损失负责。背景信息 开通企业云监控不会...
版本说明
3.4.8 分类 说明 发布时间 2020-11-17 新特性 无 修复问题 解决可用性监控无法正确解析URL的问题。3.4.7 分类 说明 发布时间 2020-07-27 新特性 支持指标：磁盘I/O、CPU单核。资源占用更少：重构云监控插件的实现方式，监控指标的采集对...
概览
IOPS使用率 内存使用率 MySQL每秒查询量 MySQL每秒事务数 高于上边界 对象存储OSS或CDN业务异常发现 作为业务的存储依赖和加速内容分发优化组件，对象存储OSS和CDN的异常会直接影响业务功能的可用性，但一般情况下应用可用性监控无法覆盖...
查询节点实例容器日志
org.apache.hadoop.yarn.util.RackResolver:Resolved emr-worker-1.cluster-500160492 to/default-rack</Content></LogEntry><LogEntry><Content>2018-11-19 17:55:11,793 INFO[RMCommunicator Allocator]org.apache.hadoop.yarn.util....
EMR-3.48.x版本说明
修复了无法读取Worker监控指标的问题。Presto 升级到0.283版本。修复了无法读取Worker监控指标的问题。ClickHouse 默认赋予default用户所有权限。StarRocks 修改之前的StarRocks为StarRocks2。新增StarRocks3，版本为 3.1.2版本，默认创建...
配置弹性伸缩（仅Hadoop集群类型）
重要 开启优雅下线时，请先将YARN配置项 yarn.resourcemanager.nodes.exclude-path 的值修改为/etc/ecm/hadoop-conf/yarn-exclude.xml。修改超时时间后，请在业务低峰期重启YARN ResourceManager，以使修改后的超时时间生效。在 弹性伸缩...
EMR-5.14.x版本说明
修复了无法读取Worker监控指标的问题。Presto 升级到0.283版本。修复了无法读取Worker监控指标的问题。ClickHouse 默认赋予default用户所有权限。StarRocks 修改之前的StarRocks版本为StarRocks2。新增StarRocks3，版本为 3.1.2版本，默认...
Spark Load
yarn HA cluster模式 CREATE EXTERNAL RESOURCE"spark1"PROPERTIES("type"="spark","spark.master"="yarn","spark.submit.deployMode"="cluster","spark.hadoop.yarn.resourcemanager.ha.enabled"="true","spark.hadoop.yarn....
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
手工缩容节点组
YARN NodeManager Decommission HDFS DataNode Decommission SmartData Jindo Storage Service Decommission（Hadoop集群）HBase HRegionServer Decommission StarRocks Decommission HBASE-HDFS DataNode Decommission YARN NodeManager ...
迁移方案
环境配置 由于DataFlow集群采用YARN部署模式，如果提交Flink作业的客户端不位于DataFlow集群内，您还需要在提交Flink作业的客户端的机器上配置好Hadoop相关的配置项，并设置好相关的环境变量。验证迁移环境 您自建集群的环境可能与DataFlow...
数据开发常见问题
解决方法：因为E-MapReduce对Yarn-Client模式的Spark Streaming作业的状态监控存在问题，所以请修改为Yarn-Cluster模式。报错“Error:Could not find or load main class”检查作业配置中作业JAR包的路径协议头是否是 ossref，如果不是请改...
使用Flink访问
usr/local/hadoop-2.7.3/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/*:/usr/local/hadoop-2.7.3/share/hadoop/...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
常用文件路径
PID_DIR=usr/lib/spark-current/pids 日志目录 组件日志在/mnt/disk1/log/xxx 目录下，例如：Yarn ResourceManager日志：Master节点/mnt/disk1/log/hadoop-yarn Yarn NodeNanager日志：Slave节点/mnt/disk1/log/hadoop-yarn HDFS NameNode...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
存储说明
Hadoop YARN也会使用所有的数据盘作为计算的临时存储。OSS 在E-MapReduce集群中，您可以将OSS作为HDFS使用。E-MapReduce可以方便的读写OSS上的数据，所有使用HDFS的代码经过简单的修改即可以访问OSS的数据。例如：读取HDFS中的数据。sc....
EMR-3.39.x版本说明
Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark 2.4.8 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 Iceberg 0.13.0 DLF-Auth 1.0.4 Hudi 0.10.0 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK 4.0.0 Spark 3.2....
使用Spark访问
usr/local/hadoop-2.7.3/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/yarn/*:/usr/local/hadoop-2.7.3/share/hadoop/...
Node Labels特性使用
Nodes页面 Node Labels页面 CapacityScheduler配置队列的可访问分区、作业使用的分区 使用CapacityScheduler：确保 yarn-site.xml 文件配置中参数 yarn.resourcemanager.scheduler.class 的值为 org.apache.hadoop.yarn.server....
- 产品推荐
- 这些文档可能帮助您