集成配置列表
monitorSourceShortName String Zabbix 监控源简称 isReceivedEvent Boolean false 是否已接受报警 status String NOT_INTEGRATED 集成配置状态 {"requestId":"601FA6A2-AC5C-4B59-BE11-378F887A6A11","data":{"integrationConfigId":1023,...
集成配置详情
monitorSourceShortName String Zabbix 监控源简称 accessKey String 601FA6A2-AC5C-4B59-BE11-378F887A6A11 集成密钥 isReceivedEvent Boolean True 是否接收报警 status String INTEGRATED 集成配置状态，DISABLE 禁用，INTEGRATED 已...
查询事件告警统计
示例值 描述 requestId String xxxxx Id of the request data Array of 事件告警统计 事件告警统计 todayAlertCount Long 10 今日累计告警量 monitorSourceName String zabbix 监控源名字 dayAlertSequential String 1/3 日告警环比 ...
查询最近告警列表
示例值 描述 requestId String xxxxxx Id of the request data Array of 告警列表 告警列表 monitorSourceId Boolean 1000 监控源ID monitorSourceName String zabbix 监控源名称 eventTime String 2020-01-01 18:30:00 告警上报时间 ...
监控源列表
示例值 描述 data Array of data data monitorSourceId Long 12 监控源id monitorSourceName String Zabbix 监控源名称 fieldKeys Array of String payload.content 监控源字段 requestId String 10REQUES-AC5C-4B59-BE11-378F117A6A88 id ...
Zabbix集成
本文介绍如何对Zabbix监控源进行集成对接。简介 Zabbix是一个开源免费的监控软件，有丰富的监控能力；运维事件中心支持简单、快速的集成配置Zabbix；查看以下集成接入步骤完成Zabbix告警集成。如何集成Zabbix？步骤1：找到Zabbix监控源 ...
边缘脚本监控
功能介绍 边缘脚本的监控页面可供您查询每个脚本的执行情况，目前支持查询脚本的运行情况和异常情况，最长可以查询近3个月中某1个月的数据。监控项 说明 运行情况 ES脚本的运行情况。当您为CDN加速域名配置了EdgeScript时，则一个客户端...
查看规则详情
parentRuleId Long 1800 规则ID monitorSourceId Long 1 监控源ID monitorIntegrationConfigId Long 1 集成配置ID monitorSourceName String zabbix 监控源名称 childConditionRelation Long 1 子条件计算关系，0-与，1-或 conditions ...
Hadoop MapReduce作业配置
path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar sleep-m 3-r 3-mt 100-rt 100 说明 您也可以单击下方的+插入OSS路径，选择 文件前缀 为 OSSREF，从 文件路径 中进行浏览和选择，系统会自动补齐OSS上Hadoop MapReduce脚本的...
通过Logtail采集Zabbix数据
Zabbix监控数据为JSON类型，所以推荐使用JSON模式进行数据采集。其中 日志路径 需设置为您在 步骤一：配置数据存储路径 中设置的数据存储路径，其他参数详情请参见 使用JSON模式采集日志。预览数据及创建索引，然后单击 下一步。日志服务...
常见问题
例如，在优化TimelineServer组件以关闭jersey依赖库的日志生成时，操作步骤如下：通过以下命令，监控YARN日志路径中与 hadoop-timelineserver-相关的.out 日志文件。DataLake集群的日志路径为/var/log/emr/yarn/，Hadoop集群日志路径为/mnt...
集成Zabbix
本文介绍如何在ARMS告警管理中接入Zabbix。前提条件 本文档只支持Zabbix 5.x版本。步骤一：创建Zabbix集成 登录 ARMS控制台，在左侧导航栏选择 告警管理>集成。在 告警集成 页签，单击 Zabbix。在 新建Zabbix集成 配置向导页面输入Zabbix...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
Pig开发手册
上传 script1-hadoop.pig 脚本至OSS，例如 oss:/emr/jars/script1-hadoop.pig。创建作业 在数据开发中创建Pig作业，详情请参见 Pig作业配置。作业内容如下。f ossref:/emr/jars/script1-hadoop.pig 运行作业 单击 运行 以运行作业。您可以...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
产品优势
完善集群的监控和告警体系，覆盖硬件和Hadoop服务，您可以配置告警模板。弹性 计算存储分离：解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群...
监控配置导入
监控配置导入指通过导入配置脚本，快速生成配置。该监控产品支持跨租户、跨环境复制配置。适用的监控产品：分钟统计/无 Key、分钟统计/多 Key、常用服务指标、秒级统计/无 Key、秒级统计/多 Key、分钟统计 Top、单笔数据 Top、分钟统计组内...
创建自定义监控
通过创建自定义监控，您可以将基础设施大盘中定制的图表迁移为自定义监控的数据源。本文以服务器的 CPU 使用率指标为例说明如何实现在自定义监控大盘中展示基础设施监控。操作步骤 在左侧导航栏，选择 基础设施监控。单击 Machine 进入...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
作业配置说明
如果 spark.monitor.cmd 所配置的监控命令组中，某一个监控命令执行时间超过该值，则直接跳过该监控命令，继续执行其后面的监控命令，避免打印监控信息时出现阻塞。2 开源Spark配置项 开源Spark配置项的用法，请参见 Spark Configuration。...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
数据开发常见问题
su hdfs/usr/lib/hadoop-current/sbin/start-balancer.sh-threshold 10 执行以下命令，查看Balancer运行情况：方式一 less/var/log/hadoop-hdfs/hadoop-hdfs-balancer-emr-header-xx.cluster-xxx.log 方式二 tailf/var/log/hadoop-hdfs/...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
Hudi
类别 详情 支持类型 源表和结果表 运行模式 流模式和批模式 数据格式 暂不支持 特有监控指标 源表 numRecordsIn numRecordsInPerSecond 结果表 numRecordsOut numRecordsOutPerSecond currentSendTime 说明 指标含义详情，请参见 监控指标...
查看脚本同步任务监控
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看脚本同步任务的监控。前提条件 已上线脚本同步任务，具体操作，请参见 上线脚本同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在...
查看脚本同步任务监控
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看脚本同步任务的监控。前提条件 已上线脚本同步任务，具体操作，请参见 上线脚本同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在...
手动执行脚本
集群创建完成后，您可以通过手动执行脚本功能批量选择节点来运行指定脚本，以实现个性化需求。本文为您介绍如何添加手动执行脚本。背景信息 手动执行功能适用于长期存在的集群，对按需创建的临时集群，应使用引导操作来完成集群初始化工作...
管理浏览器探测任务
创建浏览器探测任务后，您可以编辑脚本录制，并对其执行修改、删除、停用和启用操作。编辑脚本录制 仅PC端的浏览器探测任务，可以编辑脚本录制。登录 云监控控制台。在左侧导航栏，选择 网络分析与监控>站点监控。在 监控任务 页签，单击...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
管理引导操作
手动执行功能可以批量选择在已有节点上运行指定脚本，以实现个性化需求，手动执行脚本的详情，请参见 手动执行脚本。引导操作类似手动执行，在集群创建时或者创建完成后，您可以通过引导操作功能，完成很多目前E-MapReduce集群尚未支持的...
Pig作业配置
已保存该脚本文件 script1-hadoop-oss.pig，并上传到OSS的某个目录中，例如 oss:/path/to/script1-hadoop-oss.pig。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择...
修改集群模版
hadoop-log4j","properties":{"hadoop.log.file":"hadoop1.log","hadoop.root.logger":"INFO","a.b.c":"ABC"}}]软件自定义配置。（集群启动前，可以指定一个JSON文件修改软件配置。EasEnable Boolean 否 true 是否高安全集群，取值如下：...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
安装和卸载云监控插件
当您需要通过云监控采集主机操作系统层面的监控指标，并对重要监控指标设置报警规则，以便及时关注其动态时，需要为主机安装云监控插件。当您不再需要通过云监控来监控某台主机时，可以登录目标主机卸载云监控插件。本文为您介绍为主机自动...
通过脚本录制断言特定业务逻辑的执行结果
本文以淘宝网站的研发人员通过脚本录制断言该网站在谷歌（Chrome）浏览器上的加载完整性为例进行介绍。前提条件 请确保您已开通网络分析与监控。具体操作，请参见 开通网络分析与监控。关于浏览器探测的计费标准，请参见 浏览器探测。请...
通过企业监控大盘实现本地日志监控
云监控插件将本地日志根据配置解析成具体的监控指标后，将其上报到云监控的指标仓库，并以图表形式展示。之后您还可以通过企业云监控提供的监控大盘（简称企业监控大盘）创建多样化的监控图表，并设置Prometheus报警，接收报警通知。前提...
2020年
支持Chrome浏览器的拨测脚本录制。优化和提升：应用监控 提升拓扑查询性能。V2.7.7 发布时间：2020-10-15 新特性：云拨测 新增云拨测v0.1。支持针对HTTP/HTTPS和网络的多城市、多运营商的定时拨测。V2.7.6.2 发布时间：2020-09-15 新特性：...
ARMS统一告警管理最佳实践
为了监控这些复杂的IT环境，企业通常会选择使用异构监控系统，例如Prometheus、Grafana、Zabbix等，以获取更全面的监控数据，以便更好地了解其IT基础设施的运行状况和性能表现。然而，这种异构监控系统也带来了一些问题，其中最显着的是告...
- 产品推荐
- 这些文档可能帮助您