Resource Manager
背景信息 PolarDB PostgreSQL版 的内存可以分为以下三部分：共享内存 进程间动态共享内存 进程私有内存 进程间动态共享内存和进程私有内存是 动态分配 的，其使用量随着集群承载的业务运行情况而不断变化。过多使用动态内存，可能会导致...
Resource Manager
背景信息 PolarDB PostgreSQL版（兼容Oracle）的内存可以分为以下三部分：共享内存 进程间动态共享内存 进程私有内存 进程间动态共享内存和进程私有内存是 动态分配 的，其使用量随着集群承载的业务运行情况而不断变化。过多使用动态内存，...
Persistent Buffer Pool
Dynamic Shared Memory Areas：进程间动态共享内存区。PostgreSQL为实现进程间并行计算设计的共享内存区，可以动态扩展。Process Global Area：进程工作使用的内存区。包含以下两部分。Memory Context。逻辑直接控制的内存。内存划分如图所...
Persistent Buffer Pool
Dynamic Shared Memory Areas：进程间动态共享内存区。PostgreSQL为实现进程间并行计算设计的共享内存区，可以动态扩展。Process Global Area：进程工作使用的内存区。包含以下两部分。Memory Context。逻辑直接控制的内存。内存划分如图所...
业务进程说明
以下示例进程间通信使用的是Linux的消息队列，您也可替换为其它进程间通信方式：static void demo_tunnel_switch_recv_handle(void*handle,const aiot_tunnel_switch_recv_data_t*recv,void*userdata){ demo_tunnel_info_t info;...
内存诊断
共享内存 共享内存允许两个或更多进程访问同一块内存，是进程通信方式之一。tmpfs Linux临时文件系统，是一种基于内存的文件系统，读写的文件内容只存在内存中。hugetlb 基于文件系统的大页内存。内核内存 内核态内存重点关注Sunreclaim及...
启动ACCL容器
PyTorch多进程处理、多线程Dataloader等会大量使用共享内存通信，故而建议为容器分配足够的共享内存空间。其他可行选项包括：shm-size=8g-v/dev/shm:/dev/shm-device=dev/infiniband-ulimit memlock=-1:1 挂载RDMA网卡设备并移除内存页锁定...
常见问题
memory_node：所有 Node.js 进程内存使用之和占系统内存的百分比。CPU cpu_sys：系统 CPU 使用百分比。cpu_node：所有 Node.js 进程 CPU 使用百分比之和。Load load1：1分钟内平均 Load。load5：5分钟内平均 Load。load15：15分钟内平均 ...
操作系统监控
计数（Host.process.number）先调用OpenProcess打开需要查询的进程，再调用NTDLL中的NtQueryInformationProcess函数获得进程RTL_USER_PROCESS_PARAMETERS的参数信息，最后通过ReadProcessMemory函数获得进程cmdline，从而获得进程args和...
系统类故障排查
“total”指总计物理（swap）内存的大小，“used”指已使用物理内存（swap）的大小，“free”指可用的物理内存（swap）大小，“shared”指多个进程共享的内存总额，“buff/cache”指磁盘的缓存大小，“available”指可以被新应用程序使用的...
Linux实例负载高问题排查和异常处理
sar是Linux系统中较为全面的性能分析工具，可以从多个方面对系统的活动进行监控和报告，包括文件读写情况、系统调用使用情况、串口、CPU效率、内存使用情况、进程活动及IPC（Inter-Process Communication，进程间通信）等。安装sar工具 ...
资源组
取值如下：取值如下：default（默认）：resource manager释放内存的默认策略，优先对idle进程进行内存释放，在idle进程内存总量小于总内存使用量的20%后，会优先对active进程进行内存释放直到内存不再超过限制。terminate_active_or_cancel...
基于eRDMA增强型实例部署Redis
本文介绍如何在eRDMA增强型实例上部署共享内存通信SMC（Shared Memory Communication）和Redis，然后基于SMC测试Redis处理请求的能力。背景信息 共享内存通信SMC是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享...
Spark常见报错
解决方法：调大 spark.executor.memoryOverhead 参数，该参数表示容器内部非Spark Executor进程可使用的内存容量（单位MB），默认为Executor容器总内存容量的百分之三十。例如您当前配置的Executor规格是Medium（2核8 GB），则容器内部非...
闪回表
内存占用 打开闪回日志功能需要增加的共享内存大小为以下三项之和：polar_flashback_log_buffers*8 kB polar_flashback_logindex_mem_size MB polar_flashback_logindex_queue_buffers MB 打开快速恢复区需要增加大约32 KB的共享内存大小，...
闪回表
内存占用 打开闪回日志功能需要增加的共享内存大小为以下三项之和：polar_flashback_log_buffers*8 kB polar_flashback_logindex_mem_size MB polar_flashback_logindex_queue_buffers MB 打开快速恢复区需要增加大约32 KB的共享内存大小，...
闪回表
内存占用 打开闪回日志功能需要增加的共享内存大小为以下三项之和：polar_flashback_log_buffers*8 kB polar_flashback_logindex_mem_size MB polar_flashback_logindex_queue_buffers MB 打开快速恢复区需要增加大约32 KB的共享内存大小，...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
共享内存通信（SMC）使用说明
Alibaba Cloud Linux 3提供的共享内存通信SMC（Shared Memory Communication）是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同，SMC又可以细分为基于Internal Shared Memory（ISM）技术的SMC ...
基于TairString实现高性能分布式锁
如果一台主机上的多个进程需要并发访问某项资源，则可以使用进程间同步的原语，例如信号量、管道、共享内存等。但如果多台主机需要同时访问某项资源，就需要使用一种在全局可见并具有互斥性的锁了。这种锁就是分布式锁，可以在分布式场景中...
Multi-Master关键技术介绍
GTM Proxy可以通过共享内存和Backend进程通信，相比Tcp Loopback更高效，既可以减少内存拷贝，也没有Network Stack开销。每个GTM Proxy进程会和GTM Server建立一个网络连接，并会服务多个本地的Backend进程，将它们的GTM请求转发给GTM ...
Global CatCache
PolarDB PostgreSQL版（兼容Oracle）引用了Global CatCache功能，将Cat/Sys Cache保存在所有进程都可以访问的共享内存中，确保Cat/Sys Cache的内存消耗不再受连接数的影响，大大提高了服务稳定性。参数说明 参数 级别 说明 polar_enable_...
WAL日志并行回放
并行任务执行框架 将一段共享内存根据并发进程数目进行等分，每一段作为一个环形队列，分配给一个进程。通过配置参数设定每个环形队列的深度：Dispatcher进程。通过将任务分发给指定的进程来控制并发调度。负责将进程执行完的任务从队列中...
WAL日志并行回放
并行任务执行框架 将一段共享内存根据并发进程数目进行等分，每一段作为一个环形队列，分配给一个进程。通过配置参数设定每个环形队列的深度：Dispatcher进程。通过将任务分发给指定的进程来控制并发调度。负责将进程执行完的任务从队列中...
测试指标
semmns 个 System V系统级信号量的数量 shmmax 字节 System V共享内存段的最大大小 shmmni 个 系统中System V共享内存段标识符的数量 shmseg 个 每个进程System V共享内存段的最大数量 中间件指标 定义及解释 常用的中间件例如Tomcat、...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
共享内存通信（SMC）常见问题
如果您在Alibaba Cloud Linux 3系统中启用了共享内存通信SMC（Shared Memory Communication），且使用过程中遇到无法正常通信、部分端口不可用、对比TCP没有应用性能提升等问题，可以参考本文提供的方案进行排查并解决。启用SMC后应用性能...
PolarDB PostgreSQL版架构介绍
其中BufferPool通过具名共享内存来分配，在进程重启后仍然有效。而全局结构在进程重启后需要重新初始化。而BufferPool中并不是所有的Page都是可以复用的。例如：在重启前，某进程对Page上X锁，随后crash了，该X锁就没有进程来释放了。因此...
参数说明
资源消耗参数 参数名 参数说明 shared_buffers 数据库使用的共享内存大小，越大的缓存区可以缓存的数据更多，PolarDB中该值与规格相关。work_mem 指定在写到临时磁盘文件之前被内部排序操作和哈希表使用的内存量。注意对于一个复杂查询，...
PolarDB PostgreSQL版架构介绍
其中BufferPool通过具名共享内存来分配，在进程重启后仍然有效。而全局结构在进程重启后需要重新初始化。而BufferPool中并不是所有的Page都是可以复用的。例如：在重启前，某进程对Page上X锁，随后crash了，该X锁就没有进程来释放了。因此...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
服务网格落地
SOFAMosn 的 Metric 迁移：蚂蚁团队使用了共享内存来共享新老进程的 Metric 数据，保证在迁移的过程中 Metric 数据也是正确的。内存复用机制 内存复用机制主要特征如下：基于 sync.Pool。Slice 复用使用 Slab 细粒度，提高复用率。常用结构...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版（兼容Oracle）系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache ...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版 系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache 目前包括：Global...
全局元数据缓存
全局元信息缓存（Global Cache）是 PolarDB PostgreSQL版（兼容Oracle）系列位于共享内存中供所有进程共享的元数据缓存的统称。Global Cache可以让所有进程共享同一个缓存条目，提高内存利用效率，降低因此发生OOM的风险。Global Cache ...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
Python 2 UDAF
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDAF。UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDAF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 ...
应用视图
为帮助您更容易找到目标进程，AHAS将进程分为以下4种：虚拟进程：所有服务间的虚拟进程。系统进程：所有应用的进程。进程的已防护和未防护标签反映了应用是否已开启流控降级。云服务：AHAS识别出的云服务，并列出了调用该云服务的所有进程...
UDF开发（Python2）
MaxCompute使用的Python 2版本为2.7。本文为您介绍如何通过Python 2语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 2语言编写UDF代码，代码中需要包含如下信息：编码声明：可选。固定声明格式为#coding:utf-8 或#-...
- 产品推荐
- 这些文档可能帮助您