实例指标
SEARCHER-NORMAL（数据节点-实例相关）指标项 含义 procCpu 数据节点CPU使用率 procMemRss 数据节点内存使用大小 procMemUsedRatio 数据节点内存使用率 diskUse 数据节点磁盘使用大小 diskUsedRatio 数据节点磁盘使用率 partitionDocCount ...
如何处理系统内存使用率过高问题？
free 内存使用率=(total-free)/total，当内存使用率≥80%时，定义为内存使用率过高。total：可供系统使用的内存大小，即物理内存减去预留位和内核使用的内存。free：当前系统完全没有使用的内存。查看当前实例是否存在异常服务或进程。如果...
为什么Redis内存报警与监控的内存使用率不一致
如果Redis内存使用率告警显示内存占用较高，或您的应用程序出现OOM异常，但性能监控显示的内存使用率并不高，可参考本文排查原因并解决问题。问题现象 现象一：您收到 Redis 内存告警，显示 内存使用率超过阈值（例如，连续满足3次平均值>=...
YARN指标
YARN-TimelineServer 参数 指标 描述 MemNonHeapUsedM yarn_timelineserver_jvm_MemNonHeapUsedM Timeline Server JVM非堆内存使用。单位：MB。MemNonHeapCommittedM yarn_timelineserver_jvm_MemNonHeapCommittedM Timeline Server JVM非...
TRINO指标
参数 指标 描述 JVM Used MemHeap trino_Memory_HeapMemoryUsage_used JVM内存使用量。JVM Used MemNonHeap trino_Memory_NonHeapMemoryUsage_used 非堆内存使用量。Queued Queries trino_QueryManager_QueuedQueries 等待查询的总数。...
告警规则指标说明
通常情况下，Young GC次数越多，表示应用程序中创建的对象越多，同时也可能意味着应用程序可能存在一些内存泄漏或者不合理的内存使用方式。JVM YoungGC耗时（瞬时值）毫秒 不是 最近N分钟JVM执行Young GC（Young Generation Garbage ...
Windows系统内存分析工具介绍
微软官方提供多种工具来分析Windows系统的内存使用情况，除了系统自带的任务管理器（Task Manager），资源监视器（Resource Manager），性能监视器（Performance Monitor），还有SysInternals工具，SysInternals工具如RAMMap和PoolMon，...
内存快照
JVM监控可以直观展示指定时间段内的多项内存指标，虽然图表能体现出内存使用量过大的情况，但无法显示具体信息，因此不能帮助您排查问题产生的原因。此时您可以创建内存快照，通过详细的日志查看内存占用的详细信息，帮助您排查内存泄漏和...
Windows系统内存分析工具的介绍
Windows 2008 R2及以后版本，对这个缓存的使用也做了限制，有一部分物理内存不会被缓存使用，保证系统即使在缓存过大的时候，也有可用物理内存，满足程序使用需求。性能监视器 性能监视器（Performance Monitor）是用于Windows监控和收集...
避免下盘
计算量过大导致的算子下盘 在某些时候，我们发现我们已经设置了较大的查询内存（statement_mem）,但我们通过执行计划发现，算子执行过程中需要的内存远远大于我们设置的内存，这个时候往往是计算量过大导致的。这个时候我们需要考虑能够...
内存快照
JVM监控可以直观展示指定时间段内的多项内存指标，虽然图表能体现出内存使用量过大的情况，但无法显示具体信息，因此不能帮助您排查问题的原因。此时您可以创建内存快照，通过详细的日志查看内存占用的详细信息。功能入口 登录 EDAS控制台...
导入概述
一个导入作业通常会分布在多个BE上执行，内存参数限制的是一个导入作业在单个BE上的内存使用，而不是在整个集群的内存使用。同时，每个BE会设置可用于导入作业的内存总上限，详情请参见 通用系统配置。配置限制了所有在该BE上运行的导入...
Hive服务异常排查及处理
例如GC指标提示内存使用率过高，则需要调整内存。具体操作，请参见 Hive服务内存参数调整。如果服务正常则可查看HiveMetaStore或者HiveServer2在集群监控页Hive组件 HiveMetaStore 和 HiveServer2 关键指标监控项，根据指标项判断服务参数...
导入概述
一个导入作业通常会分布在多个BE上执行，内存参数限制的是一个导入作业在单个BE上的内存使用，而不是在整个集群的内存使用。同时，每个BE会设置可用于导入作业的内存总上限，详情请参见 通用系统配置。配置限制了所有在该BE上运行的导入...
外部表常见问题
产生原因 外部表的对象文件太多，内存占用过大且未设置分区。解决措施 使用小数据量查询。将对象文件进行分区，以减少内存占用。通过外部表处理OSS数据时，报错Inline data exceeds the maximun allowed size，如何解决？问题现象 处理OSS...
Spark作业异常排查及处理
Spark任务读写OSS文件时出现Container killed by YARN for exceeding memory limits 报错原因：可能是由于读写OSS时使用的内存缓存过大。解决方案：增大Spark Executor内存。如果无法增大Spark Executor内存，可以在EMR控制台Hadoop-Common...
使用Java SDK访问表格存储时出现...
如果存在不合理的内存使用或内存泄露问题，请优化代码。如果内存使用合理但是机器资源不足，请扩容内存。如果机器空闲且内存占用较少，请调大JVM的堆内存，降低问题发生的概率。另外，当机器的负载较高、网络异常率高、CPU使用率高时，也会...
分析视图简介
堆外内存 有时候应用会出现物理内存使用越来越多的情况,而堆外内存的不合理使用可能是导致这个情况的原因之一。该视图列出了应用目前使用的所有 java.nio.DirectByteBuffer 对象以及对应的堆外内存信息,用于排查由于堆外内存导致的物理内存...
JVM内存配置最佳实践
如果JVM堆空间大小设置过大，可能会导致Linux系统的OOM Killer被激活，进而结束（kill）Java应用进程，在容器环境下可能会表现为频繁异常重启。本文介绍在容器环境下JVM堆参数的配置建议，以及OOM的相关常见问题。通过-XX:MaxRAMPercentage...
配置使用持久内存
前提条件 持久内存适用于特定的实例规格和镜像版本，要求如下：实例规格 作为内存使用的规格：ecs.re6p-redis、ecs.re7p、ecs.r7p 重要 作为内存使用时：购买后无需进行初始化即可使用。无持久化特性，在停机或重启后，数据会丢失。作为...
术语解释
Android端异常 大内存图片 绘制图片时使用比绘制区域尺寸更大的图片资源，造成内存使用不当，引发潜在的OOM（OutofMemory，内存溢出）。Android端异常 资源泄漏 通过StrictMode工具检测到的未释放的资源。Android端异常 主线程卡顿 Android...
UDAF概述
在SQL语句中使用自定义函数时，如果计算的数据量过大并且存在倾斜，会导致作业占用的 内存超出默认分配的内存。此时，您可以在Session级别设置 set odps.sql.udf.joiner.jvm.memory=xxxx;属性来解决此问题。更多自定义函数常见问题，请参见...
RDS MySQL内存使用问题
本文介绍查看内存使用情况的方式，以及各种内存问题的原因和解决方案。背景信息 实例内存使用率和缓冲池命中率是RDS MySQL的关键指标。如果内存使用率过高，会有内存耗尽风险；如果缓冲池命中率低，大量的数据页无法命中缓冲池的数据页，...
UDTF概述
在SQL语句中使用自定义函数时，如果计算的数据量过大并且存在倾斜，会导致作业占用的内存超出默认分配的内存。此时，您可以在Session级别设置 set odps.sql.udf.joiner.jvm.memory=xxxx;属性来解决此问题。更多自定义函数常见问题，请参见 ...
如何解决Redis内存使用率突然升高
如果 Redis 实例的内存使用率突然飙升，可参考本文排查原因并解决问题。问题现象 Redis 实例之前的内存使用率较低。但从某个时间点开始，内存使用率突然迅速升高，甚至达到100%。问题原因 可能内存使用率突然升高的主要原因如下：短时间内...
云监控
内存使用率：智能召回引擎的内存使用率。cpu使用量：具体的cpu使用量，其中1个cpu为100个单位。内存使用量：具体的内存使用量，单位为byte。服务相关监控 服务相关需要选择对应服务名，仅有流量的服务有相关监控数据。服务qps：服务的查询...
Tair开发运维规范
过大的Value会引发数据倾斜、热点Key、实例流量或CPU性能被占满等问题，应从设计源头上避免此类问题带来的影响。设计合理的Key名称与长度。Key名称：使用可读字符串作为Key名，如果使用Key名拼接库、表和字段名时，推荐使用英文冒号（:）...
常见问题
本文介绍使用OSS Java SDK的常见问题及解决方法。包冲突 错误原因 使用OSS Java SDK时，报类似如下错误，说明工程中可能有包冲突。Exception in thread"main"java.lang.NoClassDefFoundError:org/apache/...
功能特性
线程分析 提供线程粒度的CPU耗时和每类线程数量的统计，可真实还原代码执行过程，当发现集群的CPU使用率过高，或者出现大量慢方法时，可以通过线程分析功能找到消耗CPU最多的线程或方法。日志分析 配合业务日志，精准定位业务异常。Arthas...
Hive作业异常排查及处理
spark.executor.memory=4g 因Container内存使用过多被YARN Kill 报错日志：Container killed by YARN for exceeding memory limits。原因分析：Hive Task使用的内存（包括JVM堆内和堆外内存，以及子进程）超过了作业向YARN申请的内存。比如...
通过CNFS自动收集异常退出的JVM转储文件
在使用Java转储时，建议创建个新的CNFS，将业务使用的CNFS与Java转储的CNFS分开，防止.hprof 文件过大，转储时占用大量业务资源，影响业务。操作步骤 您可以使用 registry.cn-hangzhou.aliyuncs.com/acs1/java-oom-test:v1.0镜像作为模拟...
集群内存使用率告警
告警描述 集群的内存使用过高触发告警。规则信息 添加告警方式可参考：添加报警规则 监控指标 指标类型 监控指标名 默认阈值 持续时间（连续触发告警周期数）检测周期 告警级别 集群内存使用率 单指标 节点/机器内存使用率 80 3 1 分钟 ...
排查内存使用率高的问题
通常情况下，当内存使用率超过95%时需要及时关注。Tair内存占用介绍 Redis的内存占用主要由以下三部分组成：内存占用 说明 链路内存（动态）主要包括Input Buff、Output Buff、JIT Overhead、Fake Lua Link、Lua执行缓存等，例如可执行 ...
SET
根据前面的计算方法，值设的过大有可能导致OOM（Out Of Memory）内存溢出。单位Byte，默认值为67108864 Byte。odps.task.quota.preference.tag 指定作业的Quota组（即MaxCompute管家中的配额组）。使用包年包月资源的项目空间可以通过该...
常见报错
若集群实例仅有单个节点的内存使用率达到100%，该实例中可能存在大Key，您可以通过 离线全量Key分析 或 实例诊断 进行定位分析。WRONGTYPE Operation against a key holding the wrong kind of value 可能原因：命令使用错误，例如对String...
ACK容器下Java应用接入Profiling
如图所示，如果表数据量过大，那么会造成大量内存申请从而导致频繁的GC，最终影响应用程序的性能。Trace埋点稀疏，CPU执行过长，导致无法定位问题根因 为了减少Agent对应用程序性能的影响，Trace数据不会对每一行代码进行埋点，这种选择性...
MaxCompute UDF概述
在SQL语句中使用自定义函数时，如果计算的数据量过大并且存在倾斜，会导致作业占用的 内存超出默认分配的内存。此时，您可以在Session级别设置 set odps.sql.udf.joiner.jvm.memory=xxxx;属性来解决此问题。更多自定义函数常见问题，请参见...
系统检查点或作业快照
289)at org.apache.flink.streaming.runtime.tasks.StreamTask.invokeProcessingTimeCallback(StreamTask.java:1435)报错原因 List State中单个key对应的State数据过大，即超过了2 GB。State数据过大产生的过程如下：在作业正常运行时，...
性能参数表
Mem_Usage JVM（Java Virtual Machine，Java虚拟机）堆内存使用率。计算方法：堆内存使用总量/堆内存分配的大小*100%，单位为%。Logic_RT 平均逻辑响应时间，一个逻辑请求（用户请求）的响应时间的计算方法：发送完返回结果的时间点-接收完...
Alibaba Blink实时模式资源自定义
在java NIO（New Input/Output）类，引入了一种基于通道（Channel）与缓冲区（Buffer）的I/O方式，direct_memory可以使用Native函数库直接分配堆外内存，然后同一个存储在Java堆中的DirectByteBuffer对象作为这块内存的引用进行操作。...
- 产品推荐
- 这些文档可能帮助您