管理事件中心（Hadoop集群）
E-MapReduce（简称EMR）的事件中心用于记录Hadoop类型集群发生的重要事件，并将其自动同步到云监控服务。您可以在EMR控制台上查看集群的事件，并在云监控控制台上设置相应的事件告警。使用限制 当前仅展示EMR on ECS中Hadoop类型集群的事件...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
通过Spark SQL读Lindorm数据
SET spark.hadoop.dfs.client.failover.proxy.provider.ld-bp1ttz8833x9c*=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider;SET spark.hadoop.dfs.ha.automatic-failover.enabled=true;SET spark.hadoop.dfs....
概览
文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个单独的JAR文件，即 aliyun-sdk-dfs-x.y.z.jar。借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 ...
配置弹性伸缩（仅Hadoop集群类型）
在您成功配置弹性伸缩规则后，系统将自动在云监控服务体系内构建相应的报警规则。为确保EMR弹性伸缩活动的平稳运行，请勿对系统自动生成的报警规则进行修改、删除或禁用等操作。操作步骤 进入弹性伸缩页面。登录 EMR on ECS控制台。在顶部...
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见：E-MapReduce产品概述。支持的...
快速入门
背景信息 在阿里云Elastic Stack产品生态下，Elasticsearch作为实时分布式搜索和分析引擎，Logstash采集、转换、优化和输出数据，Beats从各个机器和系统采集数据，高级监控报警服务提供Elasticsearch集群各类指标信息的监控，帮助您及时...
手工缩容节点组
方法1：在EMR控制台查看指标，详情请参见 查看服务监控指标。方法2：通过服务UI查看服务运行状态，详情请参见 访问链接与端口。重要 如果集群属于以下情况，需要特殊注意：如果 Core节点的数量=HDFS的副本数量，请勿缩容Core节点。如果您的...
Hudi
类别 详情 支持类型 源表和结果表 运行模式 流模式和批模式 数据格式 暂不支持 特有监控指标 源表 numRecordsIn numRecordsInPerSecond 结果表 numRecordsOut numRecordsOutPerSecond currentSendTime 说明 指标含义详情，请参见 监控指标...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
搭建Hadoop环境
本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提条件 搭建Hadoop环境时，已有的ECS实例必须满足以下条件：公网IP：实例已分配公网IP地址或绑定弹性公网IP（EIP）。操作系统：Linux操作系统。实例安全组的入方向规则...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
云监控主动报警的系统事件列表
当云服务器ECS、云监控、云数据库OceanBase版和Web应用防火墙发生指定系统事件时，云监控主动通过消息中心给消息接收人发送报警通知。云监控主动报警的系统事件列表如下表所示。云产品 事件类型 事件名称 事件含义 事件状态 事件等级 ...
注册EMR集群至DataWorks
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
管理通知模板
您可以根据自身需求自定义系统事件和阈值事件的通知模板，将报警通知通过 短信、电话、钉钉、邮件、飞书、企业微信和Slack的目标格式发送给报警联系人。您还可以设置并查看JSON格式的原始报警数据。创建通知模板 本文以创建邮件通知模板，...
通过企业监控大盘查看监控数据
云监控与Grafana的集成方式包括企业云监控提供的监控大盘（简称企业监控大盘）和Grafana插件，企业监控大盘还支持云下自建Grafana。本文为您介绍如何通过企业监控大盘可视化查看监控数据。前提条件 请确保您已开通企业云监控。具体操作，请...
常见问题概述
Grafana、Istio和HPA等第三方系统如何集成Prometheus监控？为什么ACK集群已删除，Prometheus Agent没有同步删除？如何关闭对云数据库MongoDB版的监控？如何关闭对实时计算Flink版的监控？为什么在容器中得到的内存值不一致？如何部署和配置...
新功能发布记录
2021-07-30 全部地域 接入外部报警 2021年05月 功能名称 功能描述 发布时间 发布地域 相关文档 监控大盘 线下IDC、阿里云产品和其他云厂商产品的监控数据接入云监控后，您可以为监控数据创建监控大盘，通过监控大盘查看指定监控指标的监控...
SDK示例
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
Grafana、Istio和HPA等第三方系统如何集成可观测监控 ...
Grafana、Istio和HPA等第三方系统集成 可观测监控 Prometheus 版 时，需要获取 可观测监控 Prometheus 版 的API接口地址。可以按照以下操作步骤获取API接口地址：登录 ARMS控制台。在左侧导航栏选择 Prometheus监控>Prometheus实例列表，...
如何处理云监控插件进程自动退出问题？
重要 云监控仅支持通过管理员账号权限（Linux操作系统使用root用户，Windows操作系统使用Administrator用户）操作云监控插件。使用管理员账号具有一定风险，如果操作不当可能导致系统稳定性问题或数据安全问题，请谨慎操作。Windows 以...
探针（Agent）版本说明
本文主要介绍了ARMS应用监控Java探针的版本更新历史。查看探针版本 登录 ARMS控制台。在左侧导航栏选择 应用监控>探针在线状态，然后在顶部菜单栏选择目标地域。单击 探针版本发布说明 页签，查询ARMS在2021年09月份之后正式发布的所有探针...
Grafana、Istio和HPA等第三方系统如何集成可观测监控 ...
Grafana、Istio和HPA等第三方系统集成 可观测监控 Prometheus 版 时，需要获取 可观测监控 Prometheus 版 的API接口地址。可以按照以下操作步骤获取API接口地址：在左侧导航栏单击 监控列表，进入可观测监控 Prometheus 版的实例列表页面。...
设置Dataphin实例的计算引擎为Hadoop
本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。前提条件 已完成系统元数据的初始化，请参见 使用Hadoop作为元仓计算引擎进行元仓初始化。操作步骤 使用超级管理员或系统管理员账号，登录Dataphin控制台。在Dataphin首页，单击顶部...
如何处理云监控插件心跳检查失败问题？
当主机宕机、网络异常或插件停止服务时，云监控都会为您上报系统事件“心跳检查失败”。本文以阿里云主机为例，为您介绍云监控插件心跳检查失败的处理方法。操作步骤 检查主机的运行状态是否正常。具体操作，请参见 查看实例信息。是：执行...
如何重启云监控C++版本插件？
重要 云监控仅支持通过管理员账号权限（Linux操作系统使用root用户，Windows操作系统使用Administrator用户）操作云监控插件。使用管理员账号具有一定风险，如果操作不当可能导致系统稳定性问题或数据安全问题，请谨慎操作。Windows 以...
查看系统事件
事件监控为您提供各云产品系统事件的统一查询和统计入口，使您及时得知各云产品的运行状态，并接收报警通知，便于您在业务故障时，快速分析并定位问题。背景信息 云监控支持各云产品的系统事件，请参见 云产品系统事件。操作步骤 登录 云...
查看系统事件
事件监控为您提供各云产品系统事件的统一查询和统计入口，使您及时得知各云产品的运行状态。便于您在业务故障时，快速分析并定位问题。背景信息 云监控支持各云产品的系统事件，请参见 云产品系统事件。操作步骤 登录 云监控控制台。在左侧...
支持的云产品及其系统事件
本文为您介绍云监控支持的各云产品的系统事件。说明 云监控在中国内地设立了管控平台，以提供云产品的监控服务。云监控使用管控平台对各阿里云产品的系统事件进行处理。系统事件使用说明 当您需要调用云监控API接口时，可以通过下表链接...
云服务集成
云服务集成后，您可以监控云资源的各项性能指标，帮助您了解资源消耗以及系统性能，灵活扩展监控能力。查看云服务集成 登录 ARMS控制台，在左侧导航栏选择 Grafana服务>工作区管理。在 工作区管理 页面，单击目标工作区ID。在 工作区信息 ...
云监控Java版本插件安装
监控配置管理等管控类操作 100.103.0.94:80 出方向 收集监控数据到云监控服务端 us-west-1（美国西部1 硅谷）100.103.0.95:3128 出方向 监控配置管理等管控类操作 100.100.29.7:80 出方向 收集监控数据到云监控服务端 eu-central-1（欧洲...
报警通知合并
当同一个阿里云账号的多个资源在同一报警规则和周期内同时报警时，为减少报警资源的消耗和冗余信息的干扰，云监控在第一条报警通知发出后，以一分钟为周期对后续的报警通知进行合并发送。本文将介绍不同报警规则下的报警通知合并示例。报警...
管理报警黑名单策略
背景信息 目前云监控仅支持为阈值指标设置报警黑名单策略，不支持系统事件。关于云监控支持的云产品和阈值指标，请参见 云产品监控项。创建报警黑名单策略 前提条件：请确保您已创建阈值报警规则。具体操作，请参见 创建报警规则。登录 云...
将Prometheus的监控数据接入本地Grafana
如果您需要在本地的Grafana系统中查看 可观测监控 Prometheus 版 数据，可以利用 可观测监控 Prometheus 版 提供的专用API接口轻松实现此目的。本文介绍如何将 可观测监控 Prometheus 版 数据接入本地Grafana的实现方法。前提条件 您已在...
使用系统事件报警回调（旧版）
本文为您介绍如何使用系统事件的报警回调功能，实现将云监控发送的报警通知集成到已有的运维系统或消息通知系统。前提条件 请确保您已准备好公网URL地址。该URL地址为运维系统或消息通知系统的URL地址。背景信息 说明 旧版系统事件报警规则...
将Prometheus的监控数据接入本地Grafana
如果您需要在本地的Grafana系统中查看 可观测监控 Prometheus 版 数据，可以利用 可观测监控 Prometheus 版 提供的专用API接口轻松实现此目的。本文介绍如何将 可观测监控 Prometheus 版 数据接入本地Grafana的实现方法。前提条件 您已在...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
搭建与管理（基于Hadoop）
说明 如果Hadoop集群搭建在Linux操作系统上，krb5.conf文件一般位于Hadoop HDFS namenode master节点的/etc 目录下。hmsPrincipals：HMS服务身份标识。您可以在Hadoop集群Kerberos终端，用 list_principals 命令获取HMS Principals。该选项...
使用E-Mapreduce访问
hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...
- 产品推荐
- 这些文档可能帮助您