随机采样
核内存分配 取值为正整数，单位为MB，范围(1,65536)，默认系统自动分配。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用，详情请参见 SQL脚本。PAI-name RandomSample-project algo_public-...
捕获内核的内存污染问题（KFENCE）
slab可以避免频繁的内存分配和释放操作，提高内存分配的效率。order 0单页 order 0单页也是Linux内核中一种内存分配机制，内存被分割成固定大小的页框（page frame），一般为4 KiB。order 0的单页指的就是一个普通的4 KiB大小的内存页框，...
加权采样
核内存分配 取值为正整数，范围(1,65536)，默认系统自动分配。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用，详情请参见 SQL脚本。PAI-name WeightedSample-project algo_public-...
Linux内存碎片化的应对措施
问题现象 实例内部署的业务偶然出现响应时间过长或者系统调用时间过长，系统的 sys 指标也会相应的增高，伙伴系统会缺少高阶内存（order 大于3的内存）。例如，运行 cat/proc/buddyinfo 命令的返回结果如下所示，其中从第4列开始，每一列...
OOM常见问题排查指南
计算节点（Worker Node）的内存上限是20GB，但Hologres从 V1.1.24版本开始，计算节点运行时内存取消单节点20 GB的限制，采用动态调整节点内存，定期检查内存水位，如果元数据较少时，会尽量将剩余可用内存都分配给查询运行时使用，尽量保证...
租户参数列表说明
writing_throttling_maximum_duration 通过控制内存分配进度，控制写入速度。指定在触发写入限速后，剩余 memstore 内存分配完所需的时间。div_precision_increment 除法结果精度在被除数精度基础上的增量。MySQL 兼容功能。ob_sql_work_...
JVM监控内存详情说明
本文介绍JVM监控统计的内存指标说明。Java进程占用内存分布 Java进程在运行期间，内存分布的大致情况如下图所示：说明 JVM的运行机制比较复杂，此图仅列出了主要的内存分布区域。ARMS获取JVM内存详情的原理 ARMS应用监控探针通过JDK提供的...
EIP申请、分配和找回FAQ
本文介绍了EIP的申请、分配和找回的常见问题。为什么申请EIP时提示：eip frequent purchase？为什么控制台找不到也不显示已购买的EIP？新申请的EIP的分配策略是什么？EIP释放是否有保护时间？为什么申请EIP时提示：eip frequent purchase？...
内存管理
malloc(aos_calloc、aos_zalloc)所分配的内存块的大小 aos_free()内存释放函数 内存分配算法 AliOS Things内存管理采用类buddy伙伴算法，以及blk快速小内存申请算法相结合的策略。buddy算法：Buddy算法申请的内存最小为8字节对齐，可申请的...
为什么Redis内存报警与监控的内存使用率不一致
如果Redis内存使用率告警显示内存占用较高，或您的应用程序出现OOM异常，但性能监控显示的内存使用率并不高，可参考本文排查原因并解决问题。问题现象 现象一：您收到 Redis 内存告警，显示 内存使用率超过阈值（例如，连续满足3次平均值>=...
SAE弹性伸缩最佳实践
说明 不适用配置内存指标的应用类型：采用动态内存管理进行内存分配（例如Java JVM内存管理、Glibc Malloc和Free操作）的部分应用，没有及时向操作系统释放其闲置内存，导致无法实时减少实例消耗的物理内存和新增实例消耗的平均内存，进而...
DLC常见问题
本文汇总使用 DLC 模块遇到的常见问题、定位思路以及解决办法。“exited with code 137...您可以结合任务详情中worker的内存水位来进一步判断内存不足的原因，或更换内存规格更大的实例，或增加worker数量，或修改您的代码中内存申请的数量。
Fast Query Cache
优化内存管理 取消内存预分配机制，采用更加灵活的动态内存分配机制，及时回收无效的内存，保证内存的真实利用率。优化缓存机制 动态检测缓存利用率，实时调整缓存策略，解决命中率偏低或读写混合等场景下的性能降低问题。相比MySQL原生...
如何将一棵LSM-Tree塞进NVM
Halloc内存分配器 Halloc是针对LSM-tree专用的PM内存分配器，通过三个关键技术以解决传统通用PM内存分配器存在的效率低、碎片化等问题，基于对象池的内存预留方案、应用亲和的内存管理以及统一化地址空间管理。其主要架构如下图所示，...
任务管理
分配/复核 文件分配 文件分配指的是将文件分配给某个质检员，分配成功后，对应的质检员登录控制台，可以对该文件进行人工复核，文件分配分为单个文件分配和批量分配。这里的文件分配属于人工分配，除此之外，还可以使用分配质检员功能。1....
如何排查slab_unreclaimable内存占用高的原因？
slab_unreclaimable是指在Linux内存管理中由slab分配器分配的且被标记为不可回收（unreclaimable）的内存。当不可回收内存占用总内存的比例过高时，将会影响可用内存与系统性能。本文介绍如何排查Alibaba Cloud Linux系统slab_...
配置作业资源
基础模式（粗粒度）专家模式 细粒度是一种动态资源分配方式，您可以配置每个Slot共享组（Slot Sharing Group，SSG）所需要的资源，Flink会计算出每个Slot需要的资源规格大小，动态的从可用资源池去申请完全匹配的TM和Slot。对于复杂作业，...
拆分
本文为您介绍 Designer 提供的拆分算法。拆分是对数据进行随机拆分，用于生成训练和测试集。组件配置 您可以使用以下任意一种方式，配置...系统自动分配 memSizePerCore 否 每个核心的内存（单位是兆），取值范围为(1,65536)。系统自动分配
任务结果列表统一说明
操作 分配：为该文件分配一个质检员，复核：对该文件进行人工复核，两种操作会在下文做详细说明 文件分配 文件分配指的是将文件分配给某个质检员，分配成功后，对应的质检员登录控制台，可以对该文件进行人工复核，文件分配分为单个文件...
查看作业性能
内存分配：查看不同类分配的内存情况。锁耗时：查看锁竞争、死锁导致的性能下降问题。ITimer：在相同时间间隔下，查看每个间隔内所有线程之间CPU的消耗情况。说明 火焰图的详情请参见 火焰图。内存动态 JVM不同内存区域的内存变化。线程...
排查内存使用率高的问题
说明 大部分OOM场景是由于动态内存管理失效引起，例如限流时请求堆积导致动态内存快速上升、过于复杂或不合理的Lua脚本也可能导致OOM。步骤一：分析内存使用情况 查询指定时段的内存使用率信息，具体操作，请参见 查看监控数据。以下示例中...
排查Redis实例内存使用率高的问题
在性能监控页面查看实例的内存使用率和数据节点的内存使用率，发现实例的内存使用率不高，但某个数据分片节点的内存使用率较高。问题原因 如果实例的内存使用率不高，但某个数据分片节点的内存使用率较高，说明发生了内存倾斜。解决方案 ...
分层采样
给定一个分组列，分层采样算法组件按照这些列的不同值，将输入数据分成不同的组，并在每组中分别进行随机采样。组件配置 您可以使用以下...系统自动分配 memSizePerCore 否 每个核心的内存（单位是MB），取值范围为(1,65536)。系统自动分配
ACK灵骏发布Kubernetes 1.22版本说明
目前该特性仅适用于Linux节点，实现NUMA感知的内存管理，对有内存使用质量保证要求的应用，能带来显著的使用性能提高。ACK 暂不配置任何和该特性相关的内存预留值。更多信息，请参见 运行时的内存映射 和 使用NUMA感知内存管理器。1.22版本...
Fast Query Cache
优化内存管理 取消内存预分配机制，采用更加灵活的动态内存分配机制，及时回收无效的内存，保证内存的真实利用率。优化缓存机制 动态检测缓存利用率，实时调整缓存策略，解决命中率偏低或读写混合等场景下的性能降低问题。相比原生Query ...
管理Compute
动态资源分配 默认关闭。开启后，需要配置以下参数：executors数量下限：默认为2。executors数量上限：如果未设置 spark.executor.instances，则默认值为10。更多内存配置（点击展开）spark.driver.memoryOverhead：每个Driver可利用的非堆...
非易失性存储卷概述
PMEM-直接内存（Direct Memory）访问方式 为了达到极致的，可以媲美DRAM的访问性能，对应用的内存分配部分函数做有限的修改，可以实现对PMEM设备的直接访问。对内存数据库Redis、HANA等大内存低成本需求，同时满足对TB级别的DRAM和成本的...
KV2Table
系统自动分配 memSizePerCore 否 每个核心的内存（单位是兆），取值范围为(100,64*1024)。系统自动分配 示例 数据生成 drop table if exists test;create table test as select*from(select '1:1,2:2,3:3.3' as kv union all select '1:10,...
管理模板
spark.driver.memory 用于指定Spark应用程序中Driver进程可以使用的内存量。spark.executor.cores 用于指定每个Executor进程可以使用的CPU核心数量。spark.executor.memory 用于指定每个Executor进程可以使用的内存量。Spark配置 填写Spark...
基础监控
混部资源分配率 分为CPU和内存两个资源维度，分别展示了集群当前为应用混部的CPU资源分配率和内存资源分配率（资源分配率=资源分配量÷资源总量）。如上图所示，集群中混部CPU资源分配率为1.70%，混部内存资源分配率为0.21%。混部资源分配...
THP reclaim功能
该问题产生的原因说明：透明大页申请释放的粒度为2 MiB（即512个小页面），相较于小页面，透明大页更容易产生内存碎片，进而导致内核分配的内存容量大于实际需要的内存容量。Memory bloating可能引发OOM（Out Of Memory）。例如，一个应用...
日志
本文介绍如何在Java运行环境下打印和查看日志。...函数设置内存 分配给函数的内存量。实际使用内存 函数实际使用的最大内存量。查看日志 函数执行完成后，您可以在函数详情页的 日志 页签查看日志信息。具体操作和说明，请参见 查看调用日志。
日志
本文介绍如何在Java运行环境下打印和查看...函数设置内存 分配给函数的内存量。实际使用内存 函数实际使用的最大内存量。查看日志 函数执行完成后，您可以在函数详情页的 调用日志 页签查看日志信息。具体操作和说明，请参见 查看调用日志。
Spark
原因3：集群开启了动态资源分配（spark.dynamicAllocation.enabled），状态为 Dead 的Executor节点 日志中包含 Driver commend a shutdown 错误信息。解决方法：该报错不会影响业务的正常运行，您无需处理。除上述原因外，如果还有其他报错...
计算节点规格
业务系统不同，每个连接消耗的内存资源不同，导致数据库实际能达到的最大连接不同。查询当前系统配置的最大连接数。show max_connections;查询当前实际连接数。select count(1)from pg_stat_activity;请关注业务和数据库实际情况，建议连接...
数据库
parallel_query_dsa 正等待并行查询动态共享内存分配锁。tbm 正等待TBM共享迭代器锁。parallel_append 在Parallel Append计划执行期间等待选择下一个子计划。parallel_hash_join 在Parallel Hash计划执行期间等待分配或交换一块内存或者...
如何选用云服务器
共享型云服务器：根据租户业务需求及服务器的CPU忙闲状态，动态分配CPU给租户使用。独享型云服务器：租户完全独占此服务器的CPU，无论CPU的忙闲状态如何，此服务器在一段时间内专属某个租户，不会分配给其他租户使用。CPU系列 规格族 优点 ...
数据库
parallel_query_dsa 正等待并行查询动态共享内存分配锁。tbm 正等待TBM共享迭代器锁。parallel_append 在Parallel Append计划执行期间等待选择下一个子计划。parallel_hash_join 在Parallel Hash计划执行期间等待分配或交换一块内存或者...
Persistent Buffer Pool
背景信息 PolarDB PostgreSQL版 的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能模块划分使用...
代码大页
是指操作系统以大于4 KB的页大小为管理单元的一种内存分配和管理方式，大页可以提高硬件TLB利用率进而提升性能。透明大页 透明大页（Transparent Huge Pages）是一种隐式使用大页的方式，在用户进程无感知的情况下，系统后台通过启动内核...
- 产品推荐
- 这些文档可能帮助您