Multi-Master关键技术介绍
GTM Proxy可以通过共享内存和Backend进程通信，相比Tcp Loopback更高效，既可以减少内存拷贝，也没有Network Stack开销。每个GTM Proxy进程会和GTM Server建立一个网络连接，并会服务多个本地的Backend进程，将它们的GTM请求转发给GTM ...
启动ACCL容器
PyTorch多进程处理、多线程Dataloader等会大量使用共享内存通信，故而建议为容器分配足够的共享内存空间。其他可行选项包括：shm-size=8g-v/dev/shm:/dev/shm-device=dev/infiniband-ulimit memlock=-1:1 挂载RDMA网卡设备并移除内存页锁定...
基于TairString实现高性能分布式锁
如果一台主机上的多个进程需要并发访问某项资源，则可以使用进程间同步的原语，例如信号量、管道、共享内存等。但如果多台主机需要同时访问某项资源，就需要使用一种在全局可见并具有互斥性的锁了。这种锁就是分布式锁，可以在分布式场景中...
概述
AliOS Things操作系统内核特性如下：可抢占式/协作式任务调度 多任务管理 软件定时器 任务间通信机制包括信号量、互斥量、队列、事件 内存管理 时间功能 随机数 系统信息 系统初始化 工作队列 版权信息 说明 Apache license v2.0 目录结构...
Linux系统的ECS实例的系统、内存或进程出现异常，查看...
问题现象 Linux系统的ECS实例的系统、内存或进程出现异常，通过查看系统日志提示"page allocation failure"错误，表示系统因内存不足导致无法为新的内存页分配内存空间，内存页分配失败。什么是内存页 内存页（Memory Page）是操作系统中对...
配置Spark SQL任务参数
spark.executor.memory 1G 执行程序进程使用的内存量。spark.yarn.am.memory 512M 客户端模式下YARN Application Master使用的内存量。spark.yarn.am.memoryOverhead-在客户端模式下为每个AM进程分配的非堆内存量。spark.driver.memory 1G ...
DLC常见问题
在Linux系统中，错误码137表示进程被SIGKILL信号强制中止了，最常见的原因是内存使用量过高，即OOM（Out Of Memory）错误。您可以结合任务详情中worker的内存水位来进一步判断内存不足的原因，或更换内存规格更大的实例，或增加worker数量...
RDS PostgreSQL实例的增强监控内存相关指标项优化
内存使用率计算逻辑优化 独享型实例 优化前：内存使用率=1-(/proc/meminfo.MemAvaliable/规格内存*100%)优化后：内存使用率=1-(/proc/meminfo.MemAvaliable/MemTotal*100%)通用型实例 内存使用率计算保持不变，计算逻辑为：内存使用率=1-...
内存诊断
共享内存 共享内存允许两个或更多进程访问同一块内存，是进程通信方式之一。tmpfs Linux临时文件系统，是一种基于内存的文件系统，读写的文件内容只存在内存中。hugetlb 基于文件系统的大页内存。内核内存 内核态内存重点关注Sunreclaim及...
Linux服务器内存消耗过高
问题描述 Linux服务器的内存持续消耗过高，重启后可以恢复正常，但业务运行后问题依旧存在，而且没有明显高消耗内存进程存在。问题原因 slab消耗内存过多。解决方案 登录问题Linux服务器。执行free和top命令确认不存在占用大量内存的进程。...
Persistent Buffer Pool
背景信息 PolarDB PostgreSQL版 的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能模块划分使用...
Resource Manager
背景信息 PolarDB PostgreSQL版 的内存可以分为以下三部分：共享内存 进程间动态共享内存 进程私有内存 进程间动态共享内存和进程私有内存是 动态分配 的，其使用量随着集群承载的业务运行情况而不断变化。过多使用动态内存，可能会导致...
测试指标
semmns 个 System V系统级信号量的数量 shmmax 字节 System V共享内存段的最大大小 shmmni 个 系统中System V共享内存段标识符的数量 shmseg 个 每个进程System V共享内存段的最大数量 中间件指标 定义及解释 常用的中间件例如Tomcat、...
列存索引内存管理介绍
其中，MEM-TOP为使用TOP采集整个mysqld进程的内存使用量，单位为GB。MEM-EXE是列存索引内部的内存统计量，单位为Byte。由于此时的查询无法并发执行，内存波动较大。图5 未打开内存管理时的内存波动情况 打开内存管理后，列存索引会根据内存...
查看增强监控
平均值：os.mem_size.mapped_file.avg 最大值：os.mem_size.mapped_file.max 最小值：os.mem_size.mapped_file.min 共享内存使用量 MB ✔️ ✔️ 平均值：os.mem_size.rss.avg 最大值：os.mem_size.rss.max 最小值：os.mem_size.rss.min ...
Native_crash
问题分析 Native的Crash是指在C/C++运行时出错，系统产生了Linux错误信号，导致的进程出错退出。可以通过系统的logcat来分析Crash日志。解决方案 应用在C/C++运行时出错，系统产生了Linux错误信号，导致的进程出错退出。建议开发者使用NDK...
JVM内存配置最佳实践
如果JVM堆空间大小设置过大，可能会导致Linux系统的OOM Killer被激活，进而结束（kill）Java应用进程，在容器环境下可能会表现为频繁异常重启。本文介绍在容器环境下JVM堆参数的配置建议，以及OOM的相关常见问题。通过-XX:MaxRAMPercentage...
术语解释
Android端崩溃 Abort 未能通过进程退出信号量捕捉到的App非正常退出。iOS端崩溃 Crash 通过进程退出信号量捕捉到的App非正常退出。iOS端崩溃 ANR Application Not Response，指在Android系统上，应用程序响应不够灵敏时，系统会向用户显示...
资源组管理
资源组在共享内存中可以进行数据交换和共享，以便实现进程间通信和协作。如果MEMORY_SHARED_QUOTA参数设置为100%，那么资源组内部的所有内存都将被视为共享内存，所有任务都可以使用这块内存；如果MEMORY_SHARED_QUOTA参数值小于100%，系统...
Shared Server
在Shared Server内置连接池中，通过提取出会话相关上下文Session Context，将用户连接和后端进程进行了解绑，并且引入Dispatcher来进行代理转发：Session Context保存Session相关数据，存放于共享内存中，跨进程共享。存放数据包括：...
如何处理系统内存使用率过高问题？
问题现象 使用Linux系统的ECS实例时，出现系统卡顿、内部服务响应速度变慢等问题。通过实例健康诊断显示：该实例当前内存的使用率已超过80%。可能原因 ECS实例中存在异常的进程或服务，占用大量内存，导致内存使用率过高。一般来说，当内存...
持久缓存池（Warm Buffer Pool）
技术原理 PolarDB MySQL版 的持久缓存池功能利用了Linux的共享内存（Shared Memory）技术，将物理机内部的InnoDB缓存池从 PolarDB 的进程中独立起来，以实现主节点快速重启的能力。持久缓存池的技术架构如下：缓存池的控制信息、Page的控制...
资源组
取值如下：取值如下：default（默认）：resource manager释放内存的默认策略，优先对idle进程进行内存释放，在idle进程内存总量小于总内存使用量的20%后，会优先对active进程进行内存释放直到内存不再超过限制。terminate_active_or_cancel...
资源组
取值如下：取值如下：default（默认）：resource manager释放内存的默认策略，优先对idle进程进行内存释放，在idle进程内存总量小于总内存使用量的20%后，会优先对active进程进行内存释放直到内存不再超过限制。terminate_active_or_cancel...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版 系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache 目前包括：Global...
使用操作系统Alibaba Cloud Linux 3
容器服务 Kubernetes 版 已全面支持阿里云新一代操作系统Alibaba Cloud Linux 3的节点创建，并结合Alibaba Cloud Linux 3的高内核特性提供了多场景优化。本文介绍Alibaba Cloud Linux 3操作系统的优势和场景，以及如何使用Alibaba Cloud ...
错误码
E40 套接字路径不存在 Enclave CLI在管理Enclave时会根据Enclave ID生成和Enclave管理进程通信的套接字路径，该错误码表示此套接字路径不存在，可能原因是Enclave管理进程运行异常，请查看报错回溯信息以获取更多细节。E41 Enclave管理进程...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
基于eRDMA增强型实例部署Redis
本文介绍如何在eRDMA增强型实例上部署共享内存通信SMC（Shared Memory Communication）和Redis，然后基于SMC测试Redis处理请求的能力。背景信息 共享内存通信SMC是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享...
系统类故障排查
“total”指总计物理（swap）内存的大小，“used”指已使用物理内存（swap）的大小，“free”指可用的物理内存（swap）大小，“shared”指多个进程共享的内存总额，“buff/cache”指磁盘的缓存大小，“available”指可以被新应用程序使用的...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版（兼容Oracle）系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache ...
Alibaba Cloud Linux系统中与透明大页THP相关的性能...
透明大页THP（Transparent Huge Pages）是Linux内核中的一个通用特性，它可以自动将小页面（通常为4 KB）合并成大页面（通常为2 MB或更大），可以减少内存访问页表项PTE（Page Table Entries）大小和访问次数，同时减轻了转译后备缓冲器TLB...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
WAL日志并行回放
并行任务执行框架 将一段共享内存根据并发进程数目进行等分，每一段作为一个环形队列，分配给一个进程。通过配置参数设定每个环形队列的深度：Dispatcher进程。通过将任务分发给指定的进程来控制并发调度。负责将进程执行完的任务从队列中...
THP reclaim功能
THP（Transparent Huge Page）reclaim功能用于解决因透明大页THP带来的内存问题（例如OOM）。本文介绍实现THP reclaim功能的接口，以及接口的示例操作说明。背景信息 Linux操作系统的内存采用分页管理模式，其中的THP是指内核中2 MiB或1 ...
查看实例系统配置
ps-ef 命令为例，查询ECS实例中所有进程的信息如下所示：查看Java项目信息 适用场景：通过云助手服务，分析ECS实例内部某一个进程的详细信息，例如，查看进程的内存信息或者查看进程使用频率等。操作步骤：通过创建和执行云助手命令，查看...
操作系统监控
Linux 进程的CPU使用率和内存使用率可参考 top 命令，CPU使用率为多核使用情况。Host.process.openfile可参考 lsof 命令。Host.process.number可参考 ps aux|grep '<关键字>' 命令。监控指标名称 监控指标含义 单位 MetricName Dimensions ...
数据库
等待事件类型描述 等待事件类型 等待事件名称 描述 LWLock ShmemIndexLock 正等待在共享内存中查找或者分配空间。OidGenLock 正等待分配或者赋予OID。XidGenLock 正等待分配或者赋予事务 ID。ProcArrayLock 正等待在事务结尾得到快照或者...
- 产品推荐
- 这些文档可能帮助您