共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
启动ACCL容器
PyTorch多进程处理、多线程Dataloader等会大量使用共享内存通信，故而建议为容器分配足够的共享内存空间。其他可行选项包括：shm-size=8g-v/dev/shm:/dev/shm-device=dev/infiniband-ulimit memlock=-1:1 挂载RDMA网卡设备并移除内存页锁定...
资源组管理
如果MEMORY_SHARED_QUOTA参数设置为100%，那么资源组内部的所有内存都将被视为共享内存，所有任务都可以使用这块内存；如果MEMORY_SHARED_QUOTA参数值小于100%，系统将根据设定的比例将内存划分为固定部分和共享部分，固定部分是每个任务...
持久缓存池（Warm Buffer Pool）
技术原理 PolarDB MySQL版 的持久缓存池功能利用了Linux的共享内存（Shared Memory）技术，将物理机内部的InnoDB缓存池从 PolarDB 的进程中独立起来，以实现主节点快速重启的能力。持久缓存池的技术架构如下：缓存池的控制信息、Page的控制...
闪回表
内存占用 打开闪回日志功能需要增加的共享内存大小为以下三项之和：polar_flashback_log_buffers*8 kB polar_flashback_logindex_mem_size MB polar_flashback_logindex_queue_buffers MB 打开快速恢复区需要增加大约32 KB的共享内存大小，...
文件存储
pg_dynshmem 用于动态共享内存的文件。所有节点存储一份 pg_snapshots 导出的快照（snapshot）。pg_replslot replication slot数据。pg_stat_tmp 统计子系统的临时文件。pg_stat 统计子系统的持久化文件。pg_serial 已提交的Serializable...
闪回表
内存占用 打开闪回日志功能需要增加的共享内存大小为以下三项之和：polar_flashback_log_buffers*8 kB polar_flashback_logindex_mem_size MB polar_flashback_logindex_queue_buffers MB 打开快速恢复区需要增加大约32 KB的共享内存大小，...
Global Plan Cache
polar_gpc_mem 大于0时，集群在启动时会预留此时设置的共享内存。当共享内存不足时，新的Plan Cache会暂时存放到本地。当不经常使用或者失效的GPC被清理以后，会释放出共享内存空间，之后本地的Plan Cache会尝试移动到GPC中。polar_enable_...
全局执行计划缓存
polar_gpc_mem 大于0时，集群在启动时会预留此时设置的共享内存。当共享内存不足时，新的Plan Cache会暂时存放到本地。当不经常使用或者失效的GPC被清理以后，会释放出共享内存空间，之后本地的Plan Cache会尝试移动到GPC中。polar_enable_...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
使用SysOM定位容器内存问题
在 Pod File Cache 区域，查看产生较大缓存内存的原因。若Pod的内存缓存较大，可能导致Pod工作内存占用升高，这部分缓存的内存会成为Pod工作内存的黑洞，最终影响Pod所在的业务体验。修复内存黑洞问题。通过观测发现容器内存黑洞问题，即可...
使用实时性能功能
实时性能可以采集 CPU、内存、内存详情、流量、FPS 等指标，单击主功能下的 实时性能 跳转到 实时性能 界面。查看进程的实时性能数据 在 实时性能 界面可以查看进程的性能数据，操作步骤如下：在 选择进程 下拉框中选择进程。重要 当前下拉...
真机性能报告
重要 这是与 CPU 共享的内存，不是 GPU 专用内存。Code 您的应用用于处理代码和资源（如 dex 字节码、经过优化或编译的 dex 代码、.so 库和字体）的内存。PrivateOther 包含了 Stack，System 占用，还有一些应用使用的系统不确定如何分类的...
系统类故障排查
“total”指总计物理（swap）内存的大小，“used”指已使用物理内存（swap）的大小，“free”指可用的物理内存（swap）大小，“shared”指多个进程共享的内存总额，“buff/cache”指磁盘的缓存大小，“available”指可以被新应用程序使用的...
查看智能测试报告
注意：这是与 CPU 共享的内存，不是 GPU 专用内存。Code 您的应用用于处理代码和资源（如 dex 字节码、经过优化或编译的 dex 代码、.so 库和字体）的内存。PrivateOther 包含了 Stack，System 占用，还有一些应用使用的系统不确定如何分类...
高级配置：内存缓存本地目录
该缓存支持LRU淘汰策略和不同实例间的共享，以文件系统目录的形式呈现。无需修改业务代码，直接读取缓存配置的目标本地目录中的文件，即可享受加速效果。同一服务的不同实例之间会形成一个p2p网络。在进行实例扩容时，可以通过p2p网络从...
TairSearch性能白皮书
TairSearch占用更多内存的原因可能是：使用了Jieba分词器，分出更细致、更多的词元（Token）。覆盖写入英文数据 测试命令：TairSearch：taskset-c 10-30./TairSearchBench.linux-t write-e tairsearch-f./enwiki-latest-abstract.xml-c 20-...
pg_shmem_allocations
pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。简介 pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。说明 此视图不包括使用动态共享内存基础架构分配的内存。列名称 列类型 描述 name text 共享内存...
pg_shmem_allocations
pg_shmem_allocations 视图显示从服务器的主共享内存段的分配模式。简介 说明 pg_shmem_allocations 视图不包括使用动态共享内存基础架构分配的内存。匿名分配是直接使用 ShmemAlloc()分配，而不是通过 ShmemInitStruct()或 ShmemInitHash...
Node应用内存泄漏分析方法论与实战
RSS：Resident Set Size 实际使用物理内存（包含共享库占用的内存）。案例分析 回到之前说到的菜鸟物流大市场。发现问题 菜鸟物流大市场上线之后，经常收到alimonitor的告警通知，如下图：于是打开了 Node.js 性能平台查看慢日志，果然有...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
DLC常见问题
本文汇总使用 DLC 模块遇到的常见问题、定位思路以及解决办法。“exited with code 137...您可以结合任务详情中worker的内存水位来进一步判断内存不足的原因，或更换内存规格更大的实例，或增加worker数量，或修改您的代码中内存申请的数量。
如何排查slab_unreclaimable内存占用高的原因？
您可以使用crash工具进行静态分析，也可以使用perf工具进行动态分析，排查造成slab内存泄露的原因。本文提供的示例场景中，存在slab泄露的内存名称为 kmalloc-192。crash工具静态分析 运行以下命令，安装crash工具。sudo yum install crash...
MongoDB实例内存使用率高问题
本文介绍查看 云数据库 MongoDB 版 实例内存使用率的方法，以及导致内存使用率高的原因和优化策略。背景信息 云数据库 MongoDB 版 进程启动后，不仅会加载二进制文件和依赖的各种系统库文件到内存，而且负责内存的分配和释放工作，例如客户...
云数据库ClickHouse执行查询任务时提示“Memory limit...
问题描述 阿里云云数据库ClickHouse执行查询任务时，实例内存升高，提示类似以下错误：Memory limit(for query)exceeded Memory limit(for total)exceeded 问题原因 实例内存升高的原因如下：查询内存占用过多 实例总内存使用超限 解决方案...
RDS MySQL内存使用问题
本文介绍查看内存使用情况的方式，以及各种内存问题的原因和解决方案。背景信息 实例内存使用率和缓冲池命中率是RDS MySQL的关键指标。如果内存使用率过高，会有内存耗尽风险；如果缓冲池命中率低，大量的数据页无法命中缓冲池的数据页，...
挂载EmptyDir Volume以修改shm大小
本文介绍如何设置Memory类型的emptyDir Volume的sizeLimit，并将其挂载到/dev/shm，从而修改ECI Pod的shm大小，解决共享内存不够用的问题。功能场景 默认情况下，Kubernetes创建的Pod，其共享内存默认为64 MiB（即/dev/shm 大小为64 MiB）...
解读实例诊断报告
可能的原因：内存被数据占满。大Key较多。排查方法，请参见 排查内存使用率高的问题。连接数使用率（数据节点）80%数据节点的连接数被打满后将会导致连接超时或失败。说明 如果实例为集群架构，且客户端通过 直连地址 连接至 Tair 实例，此...
查看监控信息
内存的增长和业务指标正相关，大部分情况下，导致内存突增的SQL还未运行完成就因OOM（Out of Memory）无法追溯，因此建议：检查业务日志，判断内存突增的原因。升级内存规格，并且开启 SQL洞察和审计，在内存突增时查看SQL的执行时间来判断...
数据库
等待事件类型描述 等待事件类型 等待事件名称 描述 LWLock ShmemIndexLock 正等待在共享内存中查找或者分配空间。OidGenLock 正等待分配或者赋予OID。XidGenLock 正等待分配或者赋予事务 ID。ProcArrayLock 正等待在事务结尾得到快照或者...
数据库
等待事件类型描述 等待事件类型 等待事件名称 描述 LWLock ShmemIndexLock 正等待在共享内存中查找或者分配空间。OidGenLock 正等待分配或者赋予OID。XidGenLock 正等待分配或者赋予事务 ID。ProcArrayLock 正等待在事务结尾得到快照或者...
实例规格族
通用型实例规格族g8y 计算型实例规格族c8y 内存型实例规格族r8y 通用型实例规格族g6r 计算型实例规格族c6r 企业级异构计算规格族群 推荐 其他在售（如果售罄，建议使用推荐规格族）GPU虚拟化型实例规格族sgn7i-vws（共享CPU）GPU虚拟化型...
PolarDB PostgreSQL版架构介绍
内核中的共享内存分成2部分：全局结构，ProcArray等。BufferPool结构；其中BufferPool通过具名共享内存来分配，在进程重启后仍然有效。而全局结构在进程重启后需要重新初始化。而BufferPool中并不是所有的Page都是可以复用的。例如：在重启...
闪回表
在闪回表的过程中，目标表涉及到的页面在共享内存池中换入换出，可能会造成其他数据库访问性能的抖动。建议在业务低峰期操作。闪回表操作结束后，可以根据 NOTICE 提示，查询对应的闪回表的数据并和原表进行数据比对。如果存在数据缺失，...
为什么Sidecar的内存持续升高？
问题原因 内存持续升高的原因及说明如下。原因 说明 Sidecar配置 默认情况下，Sidecar拥有集群下所有服务的端点信息和相关配置。这部分配置会占有一定的内存。随着集群下部署的业务服务数增多，配置也会增多，导致内存变大。实时请求的流量...
快速入门Java堆分析
本文演示如何通过ATP的Java堆分析，寻找应用出现内存不足错误的原因 1.生成数据源，上传到ATP 假设我们观察到生产环境中的应用出现如下内存不足的报错：java.lang.OutOfMemoryError:Java heap space Exception in thread"Thread-3...
- 产品推荐
- 这些文档可能帮助您