RSS指标
RSS指标包含以下部分：RssMaster RssWorker RssMaster 参数 指标 描述 RegisterShuffle rss_master_metrics_RegisteredShuffleCount_Value 当前RSS节点注册的活跃shuffle数量。BlacklistedWorkerCount rss_master_metrics_...
为Spark集群关联RSS
RSS（EMR Remote Shuffle Service）是E-MapReduce（简称EMR）为了提升Shuffle稳定性和性能推出的扩展组件，优化了Spark原生的Shuffle。本文为您介绍EMR on ACK上的Spark集群如何关联RSS。背景信息 目前在ACK的场景下，Spark Shuffle面临的...
使用Logview 2.0查看作业运行信息
RSS是Malloc（非文件映射）发生缺页之后的内存，该部分内存，在内存紧张时无法被回收。PageCache是内核缓存文件占用的内存，例如读写日志文件，PageCache在内存紧张时通常是可以被回收。内存详情 RSS内存使用量 PageCache内存使用量 Result...
排查Redis实例内存使用率高的问题
High process rss overhead.*/int high_alloc_rss=0;High rss overhead.*/int big_slave_buf=0;Slave buffers are too big.*/int big_client_buf=0;Client buffers are too big.*/int many_scripts=0;Script cache has too many scripts.*/...
GetObject
目前OSS支持Gzip压缩的Content-Type为text/cache-manifest、text/xml、text/plain、text/css、application/javascript、application/x-javascript、application/rss+xml、application/json和text/json。默认值：无 响应头 如果Object类型为...
通过ARMS APM应用监控服务实现HPA弹性伸缩
当应用接口的请求访问量飙升时，您可以通过Java应用接口的QPS配置HPA弹性策略，实现应用的弹性扩缩。本文介绍如何通过ARMS APM应用监控服务实现应用的HPA弹性伸缩。工作原理 将ACK集群中的Java应用接入ARMS APM应用监控服务后，您可以通过...
新功能发布记录
2022-06-01 数据湖集群 Spark集群关联RSS RSS（EMR Remote Shuffle Service）是E-MapReduce（简称EMR）为了提升Shuffle稳定性和性能推出的扩展组件，优化了Spark原生的Shuffle。EMR on ACK上的Spark集群支持关联RSS。2022-06-09 为Spark...
JVM监控内存详情说明
但由于ARMS应用监控是从JMX获取内存数据，无法覆盖整个JVM进程的RSS消耗，因此OOM Killer问题需要借助K8s的Prometheus监控生态来排查。另外，特别需要注意以下两个方面：Pod内是单进程模型吗？用于排除其他进程内存消耗的干扰。JVM进程外...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
创建集群
重要 当创建Shuffle Service集群类型时，所关联ACK集群的专属节点池或节点的实例规格必须均为大数据型或者本地SSD，否则部署RSS失败。说明 在阿里云EMR for ACK的使用场景中，针对Shuffle Service类型的集群，系统内置了一个名为“rss-pvc-...
监控与日志
在 阿里云健康状态 页面中，您可以实时查看阿里云每个地域下云服务的状态是否有异常，以及该服务异常状态的RSS订阅方式。云资源配置审计 配置审计（Cloud Config）是一项资源审计服务，为您提供面向资源的配置历史追踪、配置合规审计等能力...
Redis内存碎片
DAS通过Redis提供的INFO命令，查询内存使用的详细信息，命令如下：INFO memory#Memory used_memory:350458970752 used_memory_human:326.39G used_memory_rss:349066919936 used_memory_rss_human:325.09G…mem_fragmentation_ratio:1.00 ...
Node应用内存泄漏分析方法论与实战
RSS：Resident Set Size 实际使用物理内存（包含共享库占用的内存）。案例分析 回到之前说到的菜鸟物流大市场。发现问题 菜鸟物流大市场上线之后，经常收到alimonitor的告警通知，如下图：于是打开了 Node.js 性能平台查看慢日志，果然有...
订阅Alibaba Cloud Linux 2安全漏洞（CVE）公告
背景信息 本文以Google Chrome浏览器为示例，安装RSS Feed Reader插件用于订阅Alibaba Cloud Linux 2 CVE更新记录。您也可以自行选择其它常用的浏览器插件订阅Alibaba Cloud Linux 2 CVE更新记录。Alibaba Cloud Linux 2 安全中心简介 阿里...
事件查询
本文为您介绍使用“阿里云健康看板”查看具体的事件信息。正在发生的事件 当存在“未恢复”的异常或提醒事件时，阿里云健康看板会在...事件订阅 阿里云健康看板支持通过RSS订阅获取事件信息，您可以通过点击健康看板中的RSS图标获取RSS地址。
EMR-5.5.x版本说明
BIGBOOT RSS 升级ESS服务为RSS。增强了服务的功能和稳定性。JindoSDK 升级架构为JindoData。EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服务等。Spark COUNT DISTINCT函数支持IF语句以及优化Case when的用法。设置参数 spark.sql....
内存诊断
普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 polar_backends_mcxt 查看该进程中哪个内存上下文占用最多。说明 由于当前未有关于 ...
内存诊断
普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 polar_backends_mcxt 查看该进程中哪个内存上下文占用最多。说明 由于当前未有关于 ...
【产品/功能变更】RDS PostgreSQL实例的增强监控内存...
通用型 mem_size os.mem_size.used 内存使用量 独享型/sys/fs/cgroup/memory/memory.usage_in_bytes mem_rss+mem_mapped_file+hugetlb_usage_2m/proc/meminfo MemTotal-MemAvailable 通用型/sys/fs/cgroup/memory/memory.usage_in_bytes ...
EMR-3.39.x版本说明
BIGBOOT RSS 升级ESS服务为RSS，文档详情请参见 RSS。增强了服务的功能和稳定性。JindoSDK 升级架构为JindoData。EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服务等，详情请参见 JindoData 4.0.x版本简介。Spark 优化了Hive on Spark。...
EMR-5.9.x版本说明
RSS 升级至0.1.4版本。EMR-5.9.0 服务 变更点 Spark 升级至3.3版本。支持开启Kerberos身份认证。Hudi 升级至0.12.0版本。支持Spark 3.3版本。支持使用云上MetaStore托管元数据并开启加速功能，详情请参见 Hudi MetaStore使用说明。Flink ...
EMR-3.43.x版本说明
RSS 升级至0.1.4版本。EMR-3.43.0 服务 变更点 Spark 升级至3.3版本。支持开启Kerberos身份认证。Hudi 升级至0.12.0版本。支持Spark 3.3版本。支持使用云上MetaStore托管元数据并开启加速功能，详情请参见 Hudi MetaStore使用说明。Flink ...
EMR-5.6.x版本说明
本文介绍EMR-5.6.x版本的发布日期、更新内容和发行版本信息。发布日期 EMR-5.6.0 2022年4月21日 更新内容 服务 变更点 JindoData 新增组件，版本为4.3.0。JindoSDK 升级至4.3.0版本。Spark 升级至3.2.1版本。...服务 版本 RSS 1.0.0
查询节点（Qrs）指标
QrsWorker指标 名字 含义 opensearch.ha3suez.qrs.proc_cpu Qrs cpu使用比例 opensearch.ha3suez.qrs.proc_mem_rss Qrs使用的Rss内存大小 opensearch.ha3suez.qrs.proc_mem_used_ratio Qrs内存使用比例 Qrs查询QPS指标 名字 含义 ...
查询节点（Qrs）指标
QrsWorker指标 名字 含义 opensearch.ha3suez.qrs.proc_cpu Qrs cpu使用比例 opensearch.ha3suez.qrs.proc_mem_rss Qrs使用的Rss内存大小 opensearch.ha3suez.qrs.proc_mem_used_ratio Qrs内存使用比例 Qrs查询QPS指标 名字 含义 ...
查看增强监控
平均值：os.mem_size.mapped_file.avg 最大值：os.mem_size.mapped_file.max 最小值：os.mem_size.mapped_file.min 共享内存使用量 MB ✔️ ✔️ 平均值：os.mem_size.rss.avg 最大值：os.mem_size.rss.max 最小值：os.mem_size.rss.min ...
IMPALA指标
Resident set size(RSS)of this process,including TCMalloc,buffer pool and Jvm impala_memory_rss 进程的常驻集大小（RSS），包括TCMalloc、缓冲池和JVM。单位：Byte。The number of assignments impala_simple_scheduler_assignments_...
Alibaba Cloud Linux 2系统的ECS实例中SGX驱动在特定...
Out of memory:Kill process 1431(app)score 1 or sacrifice child[71.939026]Killed process 1431(app)total-vm:33571940kB,anon-rss:320kB,file-rss:48kB,shmem-rss:0kB[71.942922]oom_reaper:reaped process 1431(app),now anon-rss:0kB...
实例指标
Searcher查询消耗时间 QRS 指标项 含义 qps 查询qps 一阶段qps 一阶段查询qps 二阶段qps 二阶段查询qps proc_cpu 查询节点CPU使用率 proc_mem_rss 查询节点内存使用大小 mem 查询节点内存使用率 qrsSessionLatencyNormal 普通查询/独立一...
EMR-3.44.x版本说明
发行版本信息 DataLake集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.1.0 Hudi 0.12.0 Iceberg 0.14.1 JindoData 4.6.2 Kyuubi 1.6.0 RSS 0.1.4 Knox 1.5.0 Kudu 1.14.0 ...
EMR-5.10.x版本说明
本文介绍5.10.x版本的发布日期、更新内容和发行...Auth 2.0.2 Zookeeper 3.6.3 Flink 1.15_vvr_6.0.2 Flume 1.9.0 HBase 2.4.9 JindoData 4.6.2 Knox 1.5.0 Kudu 1.14.0 Kyuubi 1.6.0 Phoenix 5.1.2 RSS 0.1.4 Sqoop 1.4.7 StarRocks 2.4.1
评分规则
存在 0(slowSqlCount-10)/30 警告 100(slowSqlCount-100)/30 危险 slowSqlCount>=500 min[18+(slowSqlCount-50)/30,30)]内存碎片率（HighMemoryFragment）内存碎片率的计算方式为：mem_fragmentation_ratio=used_memory_rss/used_memory ...
Gzip压缩
Gzip或Brotli压缩支持的文件类型有text/xml、text/plain、text/css、application/javascript、application/x-javascript、application/rss+xml、text/javascript、image/tiff、image/svg+xml、application/json、application/xml。...
智能压缩
背景信息 智能压缩即Gzip（GNU zip）压缩，支持的内容格式如下：text/html 、text/xml、text/plain、text/css、application/javascript、application/x-javascript、application/rss+xml、text/javascript、image/tiff、image/svg+xml、...
监控报警指标列表
service.average_latency searcher 入口latency 单位ms igraph.server.searcher_service.proc_mem_rss searcher 内存消耗 igraph.docker.cpu.total.used.percent searcher cpu 消耗 Label 相关指标 指标名称 含义 igraph.suez.table.basic....
观察监控指标
进程指标分布 这里主要展示 CPU&RSS 和 QPS&GC 占比的关系图，如下图所示：查看当前进程的内核数据 点击左侧的 数据趋势 按钮即可查看当前进程的一些内核分析数据，如下图所示：这里能比较细致且直观地反映进程是否健康，比如堆整体信息一...
Gzip压缩
Gzip压缩支持的文件类型有 text/xml、text/plain、text/css、application/javascript、application/x-javascript、application/rss+xml、text/javascript、image/tiff、image/svg+xml、application/json、application/xml。创建Gzip压缩...
巡检评分
存在 0(slowSqlCount-10)/30 警告 100(slowSqlCount-100)/30 危险 slowSqlCount>=500 min[18+(slowSqlCount-50)/30,30)]内存碎片率（HighMemoryFragment）内存碎片率的计算方式为：mem_fragmentation_ratio=used_memory_rss/used_memory ...
服务监控说明
计算方法为：内存 rss÷内存 total。如果服务包含多个实例，则此处的指标为所有实例的平均值。GPU 如果您部署的服务使用了GPU，该面板指标表示服务在该时间点的GPU平均使用率。如果服务包含多个实例，则此处的指标为所有实例的平均值。GPU ...
- 产品推荐
- 这些文档可能帮助您