使用Prometheus监控E-MapReduce
HDFS-HOME HDFS-NameNodes HDFS-DataNodes HDFS-JournanlNodes YARN指标 YARN是Hadoop系统的核心组件，主要功能包括负责Hadoop集群的资源管理，对作业进行调度运行以及监控。YARN指标包括HOME、Queue、ResourceManager、NodeManager、...
接入外部报警
接入外部报警是指外部系统（非云监控）通过云监控的报警渠道进行报警。您可以通过云监控提供的报警服务调用地址，实现该功能。前提条件 请确保您已创建报警联系组。具体操作，请参见 创建报警联系组。操作步骤 登录 云监控控制台。在左侧...
文件存储 HDFS 版和对象存储OSS双向数据迁移
{HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=107374182400 \-D mapreduce.randomtextwriter.bytespermap=...
通过HDP 2.6 Hadoop读取和写入OSS数据
client/hadoop-aliyun-2.7.3.2.6.1.0-129.jar hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/aliyun-*hadoop/share/hadoop/tools/lib/sudo cp/usr/hdp/current/hadoop-client/lib/jdom-1.1.jar hadoop/share/...
集群吞吐性能测试
配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统自带的基准...
产品优势
云监控是阿里巴巴集团多年来监控技术研究积累的成果，结合阿里云计算平台强大的数据分析能力，为您提供云产品监控、站点监控和主机监控等功能，为您的云产品保驾护航。即开即用 云监控无需您购买和开通。当您注册阿里云账号后，自动开通云...
快速入门
部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 文件存储 HDFS 版 服务。具体操作，请参见 开通文件存储HDFS版服务。已购买ECS实例。更多信息，请参见 选购ECS...
云监控系统权限策略参考
本文描述云监控支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品提供...
通过CDH5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
最佳实践概览
Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 使用阿里云Elasticsearch监控RabbitMQ 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 查询分析RocketMQ客户端...
基本概念
报警服务 您可以对主机监控中的监控项、站点监控中的探测点、云产品监控中的实例和自定义监控中的监控项设置报警规则。当监控项满足报警规则时，发送报警通知。监控项 您设置或系统默认的监控数据类型。例如：云服务器ECS的CPU使用率、内存...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
版本说明
本文为您介绍云监控插件的版本发布信息。3.5.11 分类 说明 发布时间 2024-03-25 新特性 Windows正式支持x64。支持IPv6。支持HTTP2。支持macOS和FreeBSD（基于sigar库）。代理扩展为支持七种代理协议：HTTP、HTTPS、HTTPS/2、Socks4、Socks4...
安装和卸载云监控插件
当您需要通过云监控采集主机操作系统层面的监控指标，并对重要监控指标设置报警规则，以便及时关注其动态时，需要为主机安装云监控插件。当您不再需要通过云监控来监控某台主机时，可以登录目标主机卸载云监控插件。本文为您介绍为主机自动...
使用MapReduce处理JindoFS上的数据
具体命令如下：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar terasort<in><out>替换输入和输出路径，即可处理JindoFS上的数据：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/...
概览
功能特性 功能 描述 便捷的插件安装 云监控通过安装在主机上的云监控插件，为您采集丰富的操作系统层面的监控项。更多信息，请参见 安装和卸载插件。丰富的监控项 为您监控CPU、内存、磁盘、网络等监控项，满足主机的基本运维需求。云监控...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
管理系统事件报警规则（旧版）
云监控集中管理各云产品的系统事件和自定义事件。您可以为云产品的系统事件设置报警规则，当异常发生时，您可以及时收到报警通知，便于快速分析并定位问题。背景信息 说明 旧版系统事件报警规则功能已不再升级，功能会逐步下线，建议您使用...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
使用系统事件报警
云监控集中管理各云产品的系统事件和自定义事件。您可以为云产品的系统事件设置报警规则，当异常发生时，您可以及时收到报警通知，便于快速分析并定位问题。本文为您介绍创建和调试系统事件报警规则的方法。背景信息 云监控支持的事件类型...
删除应用
开启 此开关后，系统将无法监控您的应用，同时也不会产生费用，请您谨慎操作。卸载应用监控探针，具体操作，请参见 卸载ARMS探针。卸载ARMS探针，具体操作，请参见 卸载ARMS探针。如有问题，请参见 常见问题概述。Agent卸载完成后，在 上方...
使用Ambari集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与LindormDFS集成，来替换底层HDFS存储。您可以基于Ambari+LindormDFS构建云原生存储计算分离的开源大数据系统。前提条件 请保证...
自定义配置
如果暂停应用监控，则系统将无法监控您的应用，请谨慎操作。要使对各插件开关的修改生效，必须手动重启应用。线程分析设置 在 线程分析设置 区域，可以打开或关闭线程分析总控开关、定期保存本地方法栈信息开关，并设置高耗时调用阈值。...
作业配置说明
200 监控配置项 Lindorm计算引擎支持通过自定义监控配置项，在作业日志中打印Driver和Executor的系统状态信息监控实例运行状态。配置项 说明 默认值 spark.monitor.cmd 作业监控命令组。多个监控命令用半角分号;分隔。监控方式为定时串行...
删除应用
关闭此开关后，系统将无法监控您的应用，同时也不会产生费用，请您谨慎操作。卸载ARMS探针，具体操作，请参见 卸载ARMS探针。如有问题，请参见 常见问题概述。Agent卸载完成后，在应用设置页面单击 删除 页签。在 删除 页签单击 删除应用，...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
如何使用Prometheus监控SNMP
1.3.6.1.2.1.31.1.1.1.4 sysUpTime 系统最近一次re-initialized后的时间 无 SNMP监控大盘 可观测监控 Prometheus 版 默认提供了SNMP Status和SNMP Interface Detail两个大盘，主要针对if_mib场景，监控网络流量等信息。SNMP Status 主要...
使用自定义事件报警
云监控集中管理各云产品的系统事件和自定义事件。您可以为云产品的系统事件设置报警规则，当异常发生时，您可以及时收到报警通知，便于快速分析并定位问题。本文为您介绍自定义事件报警规则的创建方法。前提条件 请确保您已上报自定义事件...
如何使用Prometheus监控SNMP
1.3.6.1.2.1.31.1.1.1.4 sysUpTime 系统最近一次re-initialized后的时间 无 SNMP监控大盘 可观测监控 Prometheus 版 默认提供了SNMP Status和SNMP Interface Detail两个大盘，主要针对if_mib场景，监控网络流量等信息。SNMP Status 主要...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
Prometheus 探针版本发布说明
全托管的 可观测监控 Prometheus 版 系统，包括Prometheus.yaml采集规则、Grafana大盘和告警系统，可以满足自建Prometheus迁移阿里云的需求场景。Bug修复：修复鉴权访问Bug。2020年07月 此次升级不会对业务造成影响。v0.1.3 arms-prom-...
Prometheus 探针版本发布说明
全托管的 可观测监控 Prometheus 版 系统，包括Prometheus.yaml采集规则、Grafana大盘和告警系统，可以满足自建Prometheus迁移阿里云的需求场景。Bug修复：修复鉴权访问Bug。2020年07月 此次升级不会对业务造成影响。v0.1.3 arms-prom-...
管理自定义事件报警规则
云监控集中管理各云产品的系统事件和自定义事件。您可以为云产品的自定义事件设置报警规则，当异常发生时，您可以及时收到报警通知，便于快速分析并定位问题。背景信息 说明 旧版系统事件报警规则功能已不再升级，功能会逐步下线，建议您...
使用CDH6集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与LindormDFS集成，来替换底层HDFS存储。您可以基于CDH6和...
管理事件订阅（推荐）
当资源的系统事件或监控指标达到报警条件时，云监控自动发送原始报警通知给报警联系人。您可以通过事件订阅，对报警通知进行定制化处理，例如：订阅系统事件或阈值事件、对报警进行合并降噪、升级报警联系组、自定义报警通知方式、将报警...
- 产品推荐
- 这些文档可能帮助您