Hadoop Streaming
前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下命令，打开文件 mapper.py。vim/home/hadoop/mapper.py 按...
使用云原生AI监控大盘
Cluster：集群监控大盘 Nodes：节点监控大盘 TrainingJobs：训练任务监控大盘 Quota：资源配额监控大盘 集群监控大盘 具体操作，请参见 方式一：使用公网Ingress访问AI运维控制台。集群监控大盘有以下可供您查看的指标：GPU Summary Of ...
迁移开源HDFS的数据到文件存储 HDFS 版
基于阿里云ECS搭建Hadoop集群（下称"迁移集群"），用于访问 文件存储 HDFS 版 实例和迁移数据，并满足以下条件：迁移集群与 文件存储 HDFS 版 实例在相同区域、相同可用区。迁移集群与 文件存储 HDFS 版 实例的挂载点使用相同阿里云VPC网络...
场景：注册跨账号的EMR集群
对方EMR集群：选择需要注册至DataWorks的EMR集群，此处仅可选择 版本为3.38.3或3.38.2且未使用DLF管理元数据的Hadoop集群。更多注册集群的配置详情，请参见 注册EMR集群至DataWorks。配置资源组初始化。初次绑定集群、集群服务配置变更 或 ...
自治服务概述
默认大盘 默认的监控大盘提供了集群监控、租户监控两个维度，可查看一些常见的性能监控指标。您也可以根据需要添加或者编辑大盘，进行更多场景的监控。添加大盘 访问监控大盘界面。单击 添加大盘。在添加大盘页面中，填写 大盘名称，不可...
Hudi连接器
前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，详情请参见 创建集群。使用限制 仅DataLake集群和EMR-3.38.0及后续版本的Hadoop集群，支持配置Hudi连接器。只支持Hudi COW表的快照查询。部分支持Hudi MOR表的快照查询和读...
监控
在 集群服务 页面，单击上方的 集群监控。单击 指标监控 页签。查看Zookeeper服务和ClickHouse服务的监控数据。在Dashboard中选择 ZOOKEEPER 服务。在Dashboard中选择 CLICKHOUSE 服务。ClickHouse的监控指标分为3组，分别来自ClickHouse的...
集群监控概述
阿里云Logstash为您提供了集群监控功能，通过配置对应的监控功能，您可以实时了解集群健康状态。本文主要为您介绍阿里云Logstash集群涉及的监控功能以及使用场景。功能 使用场景 配置自定义报警策略 为避免出现集群状态异常、节点磁盘使用...
在文件存储 HDFS 版上使用Presto
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Presto 执行以下命令，解压Presto安装包。tar-zxf presto-server-0.265.1.tar.gz ...
JindoFS实战演示
分层更高效，对Hive数仓进行热度/冷度统计 分层更高效，对Hive数仓进行热度/冷度统计 2021-07-27 传统的Hadoop集群中，没有对数据进行分层，导致数据量不断增加的同时，存储成本也在大幅增加，计算速度在不断下降。此时，您可以对集群中的...
使用Presto访问
在Hadoop集群中安装Apache Hive，详情请参见 使用Hive访问。下载Presto压缩包和presto-cli-xxx-executable.jar。Presto下载地址：官方链接，在本文档使用Presto的版本为0.241。配置Presto 您可以参见以下步骤配置Presto，Presto官方配置...
下线DataNode
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
注册EMR集群至DataWorks
Hadoop集群（数据湖）：EMR on ECS 同账号绑定Hadoop集群时，版本为3.38.3或3.38.2。跨账号场景下，仅支持注册3.38.3版本和3.38.2版本，且未使用DLF管理元数据的Hadoop集群。您需要将集群注册至DataWorks，后续才可以在DataWorks上使用EMR...
文件存储 HDFS 版和数据库MySQL双向数据迁移
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件系统。步骤二：安装Sqoop 目前Sqoop分为Sqoop1和Sqoop2两个版本，且两个版本并不兼容。本文以Sqoop1的稳定版本Sqoop 1...
在文件存储 HDFS 版上使用Apache Spark
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...
Hive连接方式
serviceDiscoveryMode=multiServers' Hadoop集群 设置serviceDiscoveryMode为zooKeeper的方式 beeline-u 'jdbc:hive2:/emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...
使用说明
本文介绍如何在E-MapReduce上配置及访问Hue，通过使用Hue可以在浏览器端与Hadoop集群进行交互来分析处理数据。前提条件 已设置安全组访问。重要 设置安全组规则时要针对有限的IP范围。禁止在配置的时候对0.0.0.0/0开放规则。已打开8888端口...
创建集群
本章节为您介绍如何通过阿里云账号登录CDP控制台，使用一键购买，快速创建一个Hadoop集群。前提条件 注册阿里云账号，并完成实名认证。具体操作请参考 阿里云账号注册流程。完成对CDP的服务账号授权。具体操作请参考 RAM角色授权。创建集群...
集群监控告警说明
集群监控 进入【集群管理-集群监控】可以查看集群整体的监控大盘。上面4个选项卡可以切换图表，分别查看：集群监控大盘、集群巡检结果、底座组件监控、Yoda PV存储监控。集群告警 集群告警策略 集群告警主要包含所有K8s内核以及集群节点...
查看服务监控和节点状态
单击上方的 集群监控 页签。单击 指标监控 页签。在 指标监控 页面的 Dashboard 下拉框中，选择FE服务和BE服务查看监控数据。查看节点状态 进入StarRocks的状态页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组...
在文件存储 HDFS 版上使用Apache Flink
本文介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
ClickHouse控制台查看监控
本文介绍如何在控制台查看集群监控信息。前提条件 已开通阿里云Prometheus服务。已升级 云数据库ClickHouse。说明 首次使用集群监控时，会在 监控告警 页面看到需要开通阿里云Prometheus和需要升级 云数据库ClickHouse 的提醒。如果在 监控...
监控告警
本文介绍如何在控制台查看集群监控信息。前提条件 已开通 应用实时监控服务ARMS（Application Real-Time Monitoring Service）服务。具体操作，请参见 开通ARMS。操作步骤 登录 云数据库 SelectDB 控制台。在页面左上角，选择实例所在地域...
备份HBase集群
前提条件 已创建两个Hadoop集群，并添加HBase和Zookeeper服务，详情请参见 创建集群。操作步骤 通过SSH方式登录集群。详情请参见 使用SSH连接主节点。创建Table并添加数据。打开HBase Shell。hbase shell 创建表。create 'test','cf' 添加...
开通EMR Doctor（Hadoop集群类型）
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
K8s集群运维管理最佳实践
集群监控 此处仅介绍Prometheus监控、Node节点监控和收集集群日志，如需了解更多的集群监控相关信息，请参见 可观测性体系概述。查看Prometheus监控指标，对节点和工作负载添加报警。为Node节点开启云监控，对ECS的资源使用率添加报警。...
访问链接与端口
Hadoop集群：HDFS、YARN、Tez、Gangla、Spark、Oozie、HBase、Flink、Impala、Presto、Kudu。方式二：通过内网IP地址访问开源组件UI 不需要添加Knox服务。客户端机器需要与集群节点处于同一内网环境。需要根据访问的服务端口逐一添加安全组...
查看监控信息
本文介绍如何在控制台查看集群监控信息。前提条件 已开通 应用实时监控服务ARMS（Application Real-Time Monitoring Service）服务。具体操作，请参见 开通ARMS。操作步骤 登录 云数据库 SelectDB 控制台。在页面左上角，选择实例所在地域...
修改监控频率
本文介绍了修改性能监控频率的操作步骤。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。...相关API API 描述 ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
计算设置概述
具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-MapReduce3.x Hadoop与E-MapReduce5.x Hadoopp 基于阿里云E-MapReduce(EMR)构建的在阿里云云服务器ECS上的开源Hadoop集群。设置Dataphin实例的计算...
查看监控信息
数仓版（3.0）弹性模式集群版（新版）和 湖仓版（3.0）集群监控提供了丰富的监控指标，包括查询和写入、资源组信息和集群的运行状况等指标。您可以调用API接口或通过控制台查看集群过去一个月内指定时间段的各项监控指标，掌握集群的性能和...
查询项目中可用的集群列表
Type String HADOOP 集群类型：HADOOP KAFKA GATEWAY DRUID ZOOKEEPER DATA_SCIENCE PageNumber Integer 1 当前页码，从1开始。PageSize Integer 10 分页查询时设置的每页行数。RequestId String 0d18b019-00ab-455f-b60c-2891bf02f538 ...
样例代码
request.set_InstanceIdList(["i-1*","i-2*"])#可开启YARN Decommission，目前只允许对HADOOP集群的Task组开启。request.set_EnableGracefulDecommission(True)#优雅下线超时时长，单位为秒。不填写时默认超时时间为3600s。request.set_...
HAS Kerberos认证使用方法
前提条件 已创建EMR-3.40及之前版本，EMR-4.10.1及之前版本的Hadoop集群，详情请参见 创建集群。通过hadoop命令访问HDFS 以test用户访问HDFS服务为例介绍。在Gateway节点配置 krb5.conf 文件。scp root@emr-header-1:/etc/krb5.conf/etc/...
性能监控
PolarDB 控制台提供了丰富的性能监控项和秒级监控频率，方便您掌握集群的运行状态并通过细粒度的监控数据...DescribeDBClusterMonitor 查询 PolarDB 集群监控数据的采集频率。ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
性能监控
PolarDB 控制台提供了丰富的性能监控项和秒级监控频率，方便您掌握集群的运行状态并通过细粒度的监控数据...DescribeDBClusterMonitor 查询 PolarDB 集群监控数据的采集频率。ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
查看服务监控指标
单击上方的 集群监控 页签。单击 指标监控 页签。在 指标监控 页面的 Dashboard 下拉框中，选择您需要展示的服务大盘。您可以进行以下操作：查看指标含义：您可以将鼠标悬浮至每个指标的 图标上，查看图表内指标的含义。按节点展示指标：...
常见问题
这是因为EMR的Hadoop集群配置了lzo压缩。解决方法：拷贝 EMR$HADOOP_HOME/lib 下的JAR包和 native 文件夹到E-MapReduce Druid的druid.extensions.hadoopDependenciesDir（默认为$DRUID_HOME/hadoop-dependencies）。索引时提示如下错误：...
通过RootPolicy访问
前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请参见 创建Hadoop运行环境。已开通OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已配置4.5.0及以上版本JindoSDK。具体操作，请参见 非EMR集群接入OSS-...
实践教程
可观测监控 Prometheus 版 监控VPC网络下ECS实例中的Java应用 通过ServiceMonitor创建服务发现 使用智能检测算子发现异常数据 Spring Boot应用如何快速接入Prometheus监控 如何通过阿里云注册集群和Prometheus实现多云容器集群监控 基于...
- 产品推荐
- 这些文档可能帮助您