Spark常见报错
容器使用的内存超过了容器允许使用内存的限制，导致Spark进程被kill命令强制终止。常见于数据挖掘场景或者以Python语言为核心的Spark作业中。解决方法：调大 spark.executor.memoryOverhead 参数，该参数表示容器内部非Spark Executor进程...
Spark
容器使用的内存超过了容器允许使用内存的限制，导致Spark进程被kill命令强制终止。此时Driver日志出现如下报错：ERROR TaskSchedulerImpl:Lost executor xx on xx.xx.xx.xx:The executor with id xx exited with exit code 137.解决方法...
RDS PostgreSQL实例的增强监控内存相关指标项优化
os.mem_size.rss 常驻进程内存使用量 独享型/sys/fs/cgroup/memory/memory.stat memory.stat.rss/proc<pid>/smaps 系统所有进程smaps的PSS值之和。通用型/sys/fs/cgroup/memory/memory.stat memory.stat.rss 保持不变。os.mem_size.cache ...
查看Prometheus监控指标
内存信息：例如Pod内存使用率、全部进程内存使用率。网络信息：例如网络I/O压力、Pod网络I/O、所有进程网络I/O。常用操作 单击面板名称后，可进行以下操作：全屏查看当前面板：单击 View，或按快捷键V。再次按快捷键V或Esc即可退出全屏模式...
查看增强监控
os.mem_process.backend.max 最小值：os.mem_process.backend.min 后台进程内存使用量 MB ✔️ ✔️ 平均值：os.mem_process.bgwriter.avg 最大值：os.mem_process.bgwriter.max 最小值：os.mem_process.bgwriter.min bgwriter进程内存使用...
使用限制
内存使用 数据加工任务单个并发单元的内存使用限制为6 GB，超过此限制时任务运行性能将变慢，导致处理延迟。内存使用超限制的引起原因是单次拉取的LogGroup数量过大，需要修改高级参数 system.process.batch_size 来调整内存使用。重要 ...
数据加工
内存使用 数据加工任务单个并发单元的内存使用限制为6 GB，超过此限制时任务运行性能将变慢，导致处理延迟。内存使用超限制的引起原因是单次拉取的LogGroup数量过大，需要修改高级参数 system.process.batch_size 来调整内存使用。重要 ...
容器服务Kubernetes版（新版）
Count node.memory.usage userId、cluster、node Value 节点内存使用率%node.memory.utilization userId、cluster、node Value 节点工作内存使用量 Byte node.memory.working_set userId、cluster、node Value 节点网络错误数 Count node....
配置Spark SQL任务参数
spark.executor.memory 1G 执行程序进程使用的内存量。spark.yarn.am.memory 512M 客户端模式下YARN Application Master使用的内存量。spark.yarn.am.memoryOverhead-在客户端模式下为每个AM进程分配的非堆内存量。spark.driver.memory 1G ...
操作系统监控
Linux 进程的CPU使用率和内存使用率可参考 top 命令，CPU使用率为多核使用情况。Host.process.openfile可参考 lsof 命令。Host.process.number可参考 ps aux|grep '<关键字>' 命令。监控指标名称 监控指标含义 单位 MetricName Dimensions ...
使用操作系统Alibaba Cloud Linux 3
提供page cache限制功能，同时满足cgroup级别的限制能力 Linux系统通过memcg（Memory Control Group）机制控制和管理进程组的内存使用，支持为每个进程组（或任务组）设置内存限制，避免不合理的资源浪费。memcg达到设定的内存上限时，系统...
资源组
取值如下：取值如下：default（默认）：resource manager释放内存的默认策略，优先对idle进程进行内存释放，在idle进程内存总量小于总内存使用量的20%后，会优先对active进程进行内存释放直到内存不再超过限制。terminate_active_or_cancel...
资源组
取值如下：取值如下：default（默认）：resource manager释放内存的默认策略，优先对idle进程进行内存释放，在idle进程内存总量小于总内存使用量的20%后，会优先对active进程进行内存释放直到内存不再超过限制。terminate_active_or_cancel...
Resource Manager
当发现存在进程超过内存限制阈值后，Resource Manager会读取内核的用户进程内存记账，按照内存大小排序，依次对内存使用量超过阈值的进程发送中断进程信号（SIGTERM）或取消操作信号（SIGINT）。内存限制方式 Resource Manager守护进程会...
列存索引内存管理介绍
其中，MEM-TOP为使用TOP采集整个mysqld进程的内存使用量，单位为GB。MEM-EXE是列存索引内部的内存统计量，单位为Byte。由于此时的查询无法并发执行，内存波动较大。图5 未打开内存管理时的内存波动情况 打开内存管理后，列存索引会根据内存...
ePQ支持查看与分析执行计划
具体包含信息如下：每个进程的内存使用情况。每个进程的执行时间。每个进程的处理行数。示例 创建一张表并插入数据。CREATE TABLE t2(a INT,b INT,c VARCHAR(20));INSERT INTO t2 SELECT i,i*2,to_char(i,'FM00000')FROM generate_series(1...
Shared Server
用户连接不再使用新的SS共享内存，而是使用本地进程内存。用户连接与后端进程之间的数据传输依旧经过Dispatcher转发。以下场景中会触发兜底机制，执行模式会由Shared转变为Dedicated：更新了SS黑名单内的GUC参数。使用了SS黑名单内的插件。...
无法连接Linux实例的排查方法
步骤四：检查CPU负载、带宽及内存使用情况 无法正常远程连接Linux实例时，可能是因为CPU负载、带宽不足或内存不足导致。根据是否存在CPU负载过高情况，选择相应操作。存在CPU负载过高情况。若应用程序有大量的磁盘访问、网络访问行为、高...
本地应用
当容器内存使用超过限制时，容器会被重启。如果内存限制值过小，可能会导致容器内的应用运行失败。默认内存为1024 MB，请根据容器内应用大小，上调内存限制。创建完成应用后，可在 应用管理 页面 自研应用 页签中 查看。您也可以通过 操作 ...
已购驱动
当容器内存使用超过限制时，容器会被重启。如果内存限制值过小，可能会导致容器内的应用运行失败。默认内存为1024 MB，请根据容器内应用大小，上调内存限制。单击 分配子设备，在已购驱动下，为边缘实例分配子设备。（可选）分配设备到边缘...
在离线混部概述
Memory QoS 容器在使用内存时主要存在以下两个方面的约束：自身内存限制：当容器自身的内存（含Page Cache）接近容器上限时，会触发内核的内存回收子系统，这个过程会影响容器内应用的内存申请和释放的性能。节点内存限制：当容器内存超卖...
如何使用Prometheus监控Windows
进程内存使用率（%）：展示进程使用内存情况。进程句柄数。进程I/O字节数：展示进程I/O读写量。为了方便运维人员快速查看所管理Windows集群的整体运行情况，这里还建议服务配置TopN（包括CPU使用率、磁盘空间使用率、磁盘空闲率、网络流量...
如何使用Prometheus监控Windows
进程内存使用率（%）：展示进程使用内存情况。进程句柄数。进程I/O字节数：展示进程I/O读写量。为了方便运维人员快速查看所管理Windows集群的整体运行情况，这里还建议服务配置TopN（包括CPU使用率、磁盘空间使用率、磁盘空闲率、网络流量...
管理模板
spark.driver.memory 用于指定Spark应用程序中Driver进程可以使用的内存量。spark.executor.cores 用于指定每个Executor进程可以使用的CPU核心数量。spark.executor.memory 用于指定每个Executor进程可以使用的内存量。Spark配置 填写Spark...
Page Cache限制功能
Alibaba Cloud Linux 3（内核版本 5.10.134-14 开始）增加了Page Cache（文件缓存）限制功能，用于解决因Page Cache无限制使用带来的系统稳定性问题，例如业务抖动、预期外的内存溢出OOM（Out Of Memory）等。背景信息 在内核系统中，系统...
内存快照
JVM监控可以直观展示指定时间段内的多项内存指标，虽然图表能体现出内存使用量过大的情况，但无法显示具体信息，因此不能帮助您排查问题产生的原因。此时您可以创建内存快照，通过详细的日志查看内存占用的详细信息，帮助您排查内存泄漏和...
内核功能与接口概述
cgroup v1接口支持memcg QoS功能 Alibaba Cloud Linux 2内核版本 4.19.91-18.al7 及以上 Alibaba Cloud Linux 3所有内核版本 内存子系统服务质量（memcg QoS）可以用来控制内存子系统（memcg）的内存使用量的保证（锁定）与限制。...
Persistent Buffer Pool
PolarDB PostgreSQL版 的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能模块划分使用区间。...
进程监控
云监控通过安装在阿里云主机（ECS实例）和非阿里云主机上的云监控插件，为您采集最近一段时间内活跃进程的CPU使用率、内存使用率和文件打开数。您还可以添加进程监控，查看其进程数，并为这些进程设置报警规则，及时关注进程数的变化，确保...
监控指标说明
查看进程内存的变化。Bytes TM Threads TM线程数。TM线程数过多会导致占用过多内存，从而降低作业稳定性。个 TM GC Count TM GC次数。GC次数过多会导致占用过大内存空间，从而影响作业性能。该指标协助您进行作业诊断，排查作业Task级别的...
JVM内存配置最佳实践
如果JVM堆空间大小设置过大，可能会导致Linux系统的OOM Killer被激活，进而结束（kill）Java应用进程，在容器环境下可能会表现为频繁异常重启。本文介绍在容器环境下JVM堆参数的配置建议，以及OOM的相关常见问题。通过-XX:MaxRAMPercentage...
管理Compute
spark.driver.memory 用于指定Spark应用程序中Driver进程可以使用的内存量。默认值为3.5 GB。spark.executor.cores 用于指定每个Executor进程可以使用的CPU核心数量。默认值为1 CPU。spark.executor.memory 用于指定每个Executor进程可以...
接入点概述
接入点可以绑定Posix用户信息，通过接入点访问文件系统，将使用统一的Posix信息对数据进行读写，屏蔽了不同ECS、不同进程的差异，从而简化Linux原生Posix权限管理。使用限制 文件系统 仅通用型NAS NFS协议文件系统支持该功能。挂载方式 ECS...
ECS实例操作系统内部（GuestOS）常见问题与修复方案
无法正常登录 检查limits设置是否正确 Linux系统的/etc/security/limits.conf 配置文件可以对系统资源进行限制，如果系统中 nofile 参数值超过了 nr_open 参数值，则可能导致无法远程连接实例。具体操作，请参见 调整Linux实例中limits系统...
ACS Pod实例概述
无需使用 HostPID 限制容器可见宿主机PID空间 用户不感知节点，无需使用 DaemonSet 限制使用Daemonset类workload 通过Sidecar形式在Pod中部署多个镜像 Linux capabilities 限制Linux系统特权（securityContext.capabilities）使用 说明 ...
监控大盘
mem_usage PostgreSQL进程的内存使用率。data.r_s data目录所在磁盘读IOPS。data.iops data目录所在磁盘IOPS。data.w_s data目录所在磁盘写IOPS。local_fs_size_total 磁盘总空间。data.fs.used data目录所在磁盘总体使用量。data.fs.usage...
监控大盘
mem_usage PostgreSQL进程的内存使用率。data.r_s data目录所在磁盘读IOPS。data.iops data目录所在磁盘IOPS。data.w_s data目录所在磁盘写IOPS。local_fs_size_total 磁盘总空间。data.fs.used data目录所在磁盘总体使用量。data.fs.usage...
THP reclaim功能
运行以下命令，为内存使用量限制接口 memory.limit_in_bytes 设置1 GiB的限制。sudo sh-c 'echo 1G>/sys/fs/cgroup/memory/test/memory.limit_in_bytes' 设置后，您可以运行以下命令查看 memory.limit_in_bytes 接口的值。cat/sys/fs/...
Pod安全
在 容器服务 Kubernetes 版 中，您可以通过限制容器以特权模式运行、限制应用程序进程以root身份运行以及禁用Service Account令牌自动挂载等方式，防止容器中运行的进程逃离容器的隔离边界并获得对宿主机的访问权限。通过正确配置Pod安全...
调整Linux实例中limits系统参数的方法
概述 Linux系统的/etc/security/limits.conf 配置文件可以对系统资源进行限制，该配置文件用于限制用户可以使用的文件数、线程和内存等资源使用量，从而提高系统稳定性。该配置文件中的 nofile 参数为系统中所有用户打开文件数的最大值，/...
- 产品推荐
- 这些文档可能帮助您