监控
在 集群服务 页面，单击上方的 集群监控。单击 指标监控 页签。查看Zookeeper服务和ClickHouse服务的监控数据。在Dashboard中选择 ZOOKEEPER 服务。在Dashboard中选择 CLICKHOUSE 服务。ClickHouse的监控指标分为3组，分别来自ClickHouse的...
使用Hadoop作为元仓计算引擎进行元仓初始化
如下图所示：已创建集群：可以通过E-MapReduce5.x Hadoop集群的详情页查看所创建的集群存储类型。如下图所示：集群存储根目录 填写集群存储根目录。可以通过查看E-MapReduce5.x Hadoop集群信息获取进行。如下图所示：重要 若填写的路径中...
在文件存储 HDFS 版上使用Presto
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Presto 执行以下命令，解压Presto安装包。tar-zxf presto-server-0.265.1.tar.gz ...
集群监控概述
阿里云Logstash为您提供了集群监控功能，通过配置对应的监控功能，您可以实时了解集群健康状态。本文主要为您介绍阿里云Logstash集群涉及的监控功能以及使用场景。功能 使用场景 配置自定义报警策略 为避免出现集群状态异常、节点磁盘使用...
注册EMR集群至DataWorks
Hadoop集群（数据湖）：EMR on ECS 同账号绑定Hadoop集群时，版本为3.38.3或3.38.2。跨账号场景下，仅支持注册3.38.3版本和3.38.2版本，且未使用DLF管理元数据的Hadoop集群。您需要将集群注册至DataWorks，后续才可以在DataWorks上使用EMR...
JindoFS实战演示
分层更高效，对Hive数仓进行热度/冷度统计 分层更高效，对Hive数仓进行热度/冷度统计 2021-07-27 传统的Hadoop集群中，没有对数据进行分层，导致数据量不断增加的同时，存储成本也在大幅增加，计算速度在不断下降。此时，您可以对集群中的...
下线DataNode
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
使用Presto访问
在Hadoop集群中安装Apache Hive，详情请参见 使用Hive访问。下载Presto压缩包和presto-cli-xxx-executable.jar。Presto下载地址：官方链接，在本文档使用Presto的版本为0.241。配置Presto 您可以参见以下步骤配置Presto，Presto官方配置...
在文件存储 HDFS 版上使用Apache Spark
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...
使用说明
本文介绍如何在E-MapReduce上配置及访问Hue，通过使用Hue可以在浏览器端与Hadoop集群进行交互来分析处理数据。前提条件 已设置安全组访问。重要 设置安全组规则时要针对有限的IP范围。禁止在配置的时候对0.0.0.0/0开放规则。已打开8888端口...
创建集群
本章节为您介绍如何通过阿里云账号登录CDP控制台，使用一键购买，快速创建一个Hadoop集群。前提条件 注册阿里云账号，并完成实名认证。具体操作请参考 阿里云账号注册流程。完成对CDP的服务账号授权。具体操作请参考 RAM角色授权。创建集群...
集群监控告警说明
集群监控 进入【集群管理-集群监控】可以查看集群整体的监控大盘。上面4个选项卡可以切换图表，分别查看：集群监控大盘、集群巡检结果、底座组件监控、Yoda PV存储监控。集群告警 集群告警策略 集群告警主要包含所有K8s内核以及集群节点...
在文件存储 HDFS 版上使用Apache Flink
本文介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
查看服务监控和节点状态
单击上方的 集群监控 页签。单击 指标监控 页签。在 指标监控 页面的 Dashboard 下拉框中，选择FE服务和BE服务查看监控数据。查看节点状态 进入StarRocks的状态页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组...
ClickHouse控制台查看监控
本文介绍如何在控制台查看集群监控信息。前提条件 已开通阿里云Prometheus服务。已升级 云数据库ClickHouse。说明 首次使用集群监控时，会在 监控告警 页面看到需要开通阿里云Prometheus和需要升级 云数据库ClickHouse 的提醒。如果在 监控...
监控告警
本文介绍如何在控制台查看集群监控信息。前提条件 已开通 应用实时监控服务ARMS（Application Real-Time Monitoring Service）服务。具体操作，请参见 开通ARMS。操作步骤 登录 云数据库 SelectDB 控制台。在页面左上角，选择实例所在地域...
开通EMR Doctor（Hadoop集群类型）
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
备份HBase集群
前提条件 已创建两个Hadoop集群，并添加HBase和Zookeeper服务，详情请参见 创建集群。操作步骤 通过SSH方式登录集群。详情请参见 使用SSH连接主节点。创建Table并添加数据。打开HBase Shell。hbase shell 创建表。create 'test','cf' 添加...
K8s集群运维管理最佳实践
集群监控 此处仅介绍Prometheus监控、Node节点监控和收集集群日志，如需了解更多的集群监控相关信息，请参见 可观测性体系概述。查看Prometheus监控指标，对节点和工作负载添加报警。为Node节点开启云监控，对ECS的资源使用率添加报警。...
访问链接与端口
Hadoop集群：HDFS、YARN、Tez、Gangla、Spark、Oozie、HBase、Flink、Impala、Presto、Kudu。方式二：通过内网IP地址访问开源组件UI 不需要添加Knox服务。客户端机器需要与集群节点处于同一内网环境。需要根据访问的服务端口逐一添加安全组...
指标含义与异常处理建议
说明 如果集群监控提供的指标比Kibana监控多，在实际使用时，建议将集群监控和Kibana监控结合起来分析集群监控详情。采集接口差异性：Kibana监控指标依赖于Elasticsearch API，而集群监控部分节点级别的指标（例如CPU使用率、load_1m、磁盘...
查看监控信息
本文介绍如何在控制台查看集群监控信息。前提条件 已开通 应用实时监控服务ARMS（Application Real-Time Monitoring Service）服务。具体操作，请参见 开通ARMS。操作步骤 登录 云数据库 SelectDB 控制台。在页面左上角，选择实例所在地域...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
计算设置概述
具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-MapReduce3.x Hadoop与E-MapReduce5.x Hadoopp 基于阿里云E-MapReduce(EMR)构建的在阿里云云服务器ECS上的开源Hadoop集群。设置Dataphin实例的计算...
修改监控频率
本文介绍了修改性能监控频率的操作步骤。操作步骤 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。...相关API API 描述 ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
查看监控信息
数仓版（3.0）弹性模式集群版（新版）和 湖仓版（3.0）集群监控提供了丰富的监控指标，包括查询和写入、资源组信息和集群的运行状况等指标。您可以调用API接口或通过控制台查看集群过去一个月内指定时间段的各项监控指标，掌握集群的性能和...
管理Hive Catalog
网络连通后，Flink就可以使用Hadoop集群的配置文件访问Hadoop集群。在OSS控制台新建目录，并将Hive配置文件和Hadoop依赖上传至目标路径。登录 OSS管理控制台 OSS管理控制台。单击 Bucket列表。单击目标Bucket名称。在 oss:/${bucket}/...
查询项目中可用的集群列表
Type String HADOOP 集群类型：HADOOP KAFKA GATEWAY DRUID ZOOKEEPER DATA_SCIENCE PageNumber Integer 1 当前页码，从1开始。PageSize Integer 10 分页查询时设置的每页行数。RequestId String 0d18b019-00ab-455f-b60c-2891bf02f538 ...
样例代码
request.set_InstanceIdList(["i-1*","i-2*"])#可开启YARN Decommission，目前只允许对HADOOP集群的Task组开启。request.set_EnableGracefulDecommission(True)#优雅下线超时时长，单位为秒。不填写时默认超时时间为3600s。request.set_...
性能监控
PolarDB 控制台提供了丰富的性能监控项和秒级监控频率，方便您掌握集群的运行状态并通过细粒度的监控数据...DescribeDBClusterMonitor 查询 PolarDB 集群监控数据的采集频率。ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
性能监控
PolarDB 控制台提供了丰富的性能监控项和秒级监控频率，方便您掌握集群的运行状态并通过细粒度的监控数据...DescribeDBClusterMonitor 查询 PolarDB 集群监控数据的采集频率。ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
查看服务监控指标
单击上方的 集群监控 页签。单击 指标监控 页签。在 指标监控 页面的 Dashboard 下拉框中，选择您需要展示的服务大盘。您可以进行以下操作：查看指标含义：您可以将鼠标悬浮至每个指标的 图标上，查看图表内指标的含义。按节点展示指标：...
常见问题
这是因为EMR的Hadoop集群配置了lzo压缩。解决方法：拷贝 EMR$HADOOP_HOME/lib 下的JAR包和 native 文件夹到E-MapReduce Druid的druid.extensions.hadoopDependenciesDir（默认为$DRUID_HOME/hadoop-dependencies）。索引时提示如下错误：...
通过RootPolicy访问
前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请参见 创建Hadoop运行环境。已开通OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已配置4.5.0及以上版本JindoSDK。具体操作，请参见 非EMR集群接入OSS-...
实践教程
可观测监控 Prometheus 版 监控VPC网络下ECS实例中的Java应用 通过ServiceMonitor创建服务发现 使用智能检测算子发现异常数据 Spring Boot应用如何快速接入Prometheus监控 如何通过阿里云注册集群和Prometheus实现多云容器集群监控 基于...
Kubernetes 集群托管
Kubernetes 集群监控 对于阿里云容器服务 ACK 集群，AppStack 集成阿里云ARMS Prometheus监控，监控集群各类资源使用情况和健康状态；集成阿里云ARMS Kubernetes监控，监控集群网络请求，构建集群拓扑，便于查看服务依赖状态。开通 ...
组件概述
ack-arms-prometheus 可选组件 使用ARMS Prometheus实现容器服务集群监控。logtail-ds 可选组件 使用日志服务采集Kubernetes容器日志，升级请先参考组件介绍。存储 组件名称 组件类型 描述 storage-operator 系统组件 使用storage-operator...
开启集群GPU监控
GPU监控2.0基于NVIDIA DCGM构建功能强大的GPU监控体系。...从集群监控大盘中可以看到GPU Pod运行在节点cn-beijing.192.168.10.163上。单击 集群GPU监控-节点维度 页签，选择 gpu_node 为cn-beijing.192.168.10.163，查看该节点的GPU详细信息。
云监控控制台查看监控
在云数据库ClickHouse的监控页面，单击目标集群的ID或 操作 列的 监控图表，默认展示最新1小时的集群监控信息。说明 您最多可连续查看最近30天的监控数据。监控项说明 说明 2021年12月01日之前购买的 云数据库ClickHouse 集群，具体的监控...
查看集群列表与详情
监控 单击 图标跳转至 集群监控 页面，如果当前实例有待处理事件，则在监控图标旁会显示待处理事件的数量。创建时间/运行时间 创建时间：显示集群创建的时间。运行时间：从创建开始到目前的运行时间。集群一旦被释放，计时终止。付费类型 ...
- 产品推荐
- 这些文档可能帮助您