Lua脚本规范与常见报错
不推荐将参数编码进脚本中，过多类似行为会导致LUA虚拟机内存使用量上升，且无法及时回收，极端情况下会导致实例主库与备库内存溢出（Out of Memory），造成数据丢失。EVALSHA EVALSHA sha1 numkeys key[key.]arg[arg.]给定脚本的SHA1校验...
排查内存使用率高的问题
当执行客户端Range类操作或大Key收发较慢时，Input buff与Output buff占用的内存会增大，从而影响数据区，甚至会造成内存溢出OOM（Out Of Memory）。数据内存 用户数据区，即实际存储的Value信息，通常作为重点分析的对象。管理内存（静态...
开启自动扩容
云数据库Redis集成了数据库自治服务DAS（Database Autonomy Service）的自动扩容功能，当内存平均使用率达到阈值后会自动升级Redis实例的规格，帮助您快速弹性适配业务高峰，避免内存溢出的风险，有效保障线上业务稳定性。前提条件 Redis...
如何处理Tair集群数据倾斜
数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出（Key eviction）、内存溢出OOM（Out Of Memory）、实例响应时间上升等异常情况。为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为...
开启自动扩容
数据库自治服务DAS（Database Autonomy Service）提供Redis自动扩容功能，当内存平均使用率达到阈值后会自动升级Redis实例的规格，帮助您快速弹性适配业务高峰，避免内存溢出的风险，有效保障线上业务稳定性。前提条件 实例为：云数据库...
磁盘（SSD）型性能白皮书
测试主要针对下述两种场景进行：内存大于数据场景：绝大部分数据可以在内存中访问到，此场景下内存与数据的比例约为7:1。数据大于内存场景：只有部分数据缓存在内存，部分访问请求需要读取硬盘中的数据，根据负载不同，需要访问磁盘的比例...
Hive服务异常排查及处理
异常排查 如果客户端遇到异常或性能等问题，您可以按照如下步骤进行排查：排查异常时间段机器CPU、内存、网络以及磁盘是否有异常。排查组件是否正常：检查访问集群的Hive组件中 HiveMetaStore 和 HiveServer2 巡检项是否有异常提示，如有则...
磁盘（ESSD）型性能白皮书
测试主要针对下述两种场景进行：内存大于数据场景：绝大部分数据可以在内存中访问到，此场景下内存与数据的比例约为7:1。数据大于内存场景：只有部分数据缓存在内存，部分访问请求需要读取硬盘中的数据，根据负载不同，需要访问磁盘的比例...
内存快照
JVM监控可以直观展示指定时间段内的多项内存指标，虽然图表能体现出内存使用量过大的情况，但无法显示具体信息，因此不能帮助您排查问题的原因。此时您可以创建内存快照，通过详细的日志查看内存占用的详细信息。功能入口 登录 EDAS控制台...
拉高服务器内存占用率
若需要测试应用在内存占用率高的情况下是否能正常运行，您可以通过 PelicanDT 轻松地模拟服务器内存占用率高的测试环境。本文将介绍使用 PelicanDT 拉高服务器内存占用率的方法。前提条件 您已安装 PelicanDT SDK，请参见 安装 PelicanDT ...
使用集群诊断
容器智能运维平台 提供一键故障诊断能力，包括节点诊断、Pod诊断、Service诊断、Ingress诊断、内存诊断、网络诊断，可以辅助您定位集群中出现的问题。本文介绍如何在ACK集群中使用集群诊断功能。前提条件 已创建Kubernetes托管版集群。具体...
多NUMA机型的容器内存就近访问加速
索引 前提条件 内存就近访问加速功能的优势 使用场景 使用内存就近访问加速功能 步骤一：通过Policy开启内存就近访问加速功能 步骤二：通过Event查看内存就近访问加速结果（可选）步骤三：开启多次内存就近访问加速 验证内存就近访问加速...
Alibaba Cloud Linux系统中与透明大页THP相关的性能...
透明大页THP（Transparent Huge Pages）是Linux内核中的一个通用特性，它可以自动将小页面（通常为4 KB）合并成大页面（通常为2 MB或更大），可以减少内存访问页表项PTE（Page Table Entries）大小和访问次数，同时减轻了转译后备缓冲器TLB...
列存索引中TopK算子的实现
重要 本文中的内存充足是指，算法中用于管理至少K条记录的数据结构可以在执行内存中缓存，而不是TopK查询的输入数据可以在执行内存中缓存。实际上本文讨论的场景，TopK查询的输入数据都是远大于执行内存的。另外，从系统设计的角度上看，...
内存快照
JVM监控可以直观展示指定时间段内的多项内存指标，虽然图表能体现出内存使用量过大的情况，但无法显示具体信息，因此不能帮助您排查问题产生的原因。此时您可以创建内存快照，通过详细的日志查看内存占用的详细信息，帮助您排查内存泄漏和...
应用监控概述
JVM监控可以直观展示指定时间段内的多项内存指标，然而虽然图表能体现出内存使用量过大的情况，但无法显示具体信息，因此不能帮助您排查问题的原因。此时您可以创建内存快照，通过详细的日志查看内存占用的详细信息。主机监控功能用于监控...
EventHandle
第一个信息是当前的堆结构概览：第二个信息是内存泄漏报表：展开引力图，看到疑似的泄露点引用关系如下图所示：进一步根据引力图详细信息，可以看到内存堆积的引用文字关系如下所示（顺序）：(context)of function/home/xxxx/app/...
云盒计算资源配置最佳实践
8 GiB内存的ECS实例，共计需要400 vCPU，800 GiB内存的算力，由于所需ECS实例的vCPU和内存配比要求为1：2，此时可以选择最大实例规格为ecs.c6.26xlarge的SKU，该规格族的vCPU和内存配比为1：2，在满足需求的同时可以避免内存浪费。...
使用硬件DSA进行数据流加速
对于ack-koordinator的内存就近访问加速功能，DSA可以明显提升单次处理的速度，有效降低CPU核时。远端内存使用量越大，加速效果越明显，十万级到百万级内存页有30%~200%的速度提升和CPU节省。迁移约1.7 GB应用内存至本地，与无DSA硬件相比...
如何处理Redis集群数据倾斜
数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出（Key eviction）、内存溢出OOM（Out Of Memory）、实例响应时间上升等异常情况。为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为...
在TairSearch中使用Msearch实现索引分片搜索
一个Key通常对应一个Schema（元数据，由 mappings 和 settings 组成），若单个Key添加了过多文档，则会使该Key成为大Key（BigKey），严重时会因该Key占用的内存超过单节点的内存限制而导致内存溢出（Out Of Memory）。当单节点架构的缓存...
动态资源超卖
ack-koordinator提供动态资源超卖功能，通过对节点负载数据的实时收集，可以充分挖掘集群中已分配但未使用的资源量，以实现对集群资源的动态超卖。本文主要介绍如何使用动态资源超卖功能。前提条件 仅支持ACK Pro版集群。具体操作，请参见 ...
本地存储卷概述
功能介绍 本地存储是个相对概念：存储介质可以是阿里云提供的本地数据盘（请参见 本地盘），可以是阿里云云盘（请参见 云盘概述），也可以是内存当做临时本地存储使用。本地盘是ECS实例所在物理机上的本地硬盘设备。本地盘能够为ECS实例...
存储过程
本文介绍了存储过程的原理和使用方法。功能介绍 存储过程（Stored ...其中，参数 PL_CURSOR_MEMORY_LIMIT 用于控制每个Cursor所占用的内存，超过该阈值时会溢出到硬盘中，参数 PL_MEMORY_LIMIT 用于控制每个存储过程所能使用的最大内存。
分组聚合查询优化
通过Hint优化分组聚合 适用场景 在大多数场景下，两步聚合可以在内存和网络资源之间实现较好的平衡，但在分组聚合的分组数较多（即GROUP BY字段的唯一值较多）等特殊场景下，两步聚合不一定是最好的处理方法。例如，在需要使用手机号码或...
维表JOIN语句
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的...
版本特性
父熔断器以当前真实可用内存为基准（indices.breaker.total.use_real_memory），默认为JVM堆内存的95%，以最大内存可用率来避免内存溢出。详细信息，请参见 Circuit Breaker。废除_all 字段的支持，提升检索性能。新增间隔查询（Intervals ...
Page Cache限制功能
Alibaba Cloud Linux 3（内核版本 5.10.134-14 开始）增加了Page Cache（文件缓存）限制功能，用于解决因Page Cache无限制使用带来的系统稳定性问题，例如业务抖动、预期外的内存溢出OOM（Out Of Memory）等。背景信息 在内核系统中，系统...
内核功能与接口概述
Page Cache限制功能 Alibaba Cloud Linux 3内核版本 5.10.134-14 及以上 Alibaba Cloud Linux 3增加了Page Cache（文件缓存）限制功能，用于解决因Page Cache无限制使用带来的系统稳定性问题，例如业务抖动、预期外的内存溢出OOM等。...
列存索引中HashMatch算子的实现
PolarDB IMCI执行器默认用行号表示执行的中间结果，当大查询所需数据量无法完全存放于内存时则可能会引发大量随机且重复IO，从而影响执行效率。为了解决上述问题，IMCI执行器实现了基于中间结果物化的算子集合，本文介绍了HashJoin算子的...
排查Redis实例内存使用率高的问题
当执行客户端Range类操作或大Key收发较慢时，Input buff与Output buff占用的内存会增大，从而影响数据区，甚至会造成内存溢出OOM（Out Of Memory）。数据内存 用户数据区，即实际存储的Value信息，通常作为重点分析的对象。管理内存（静态...
发现并处理大Key和热Key
Tair 内存达到 maxmemory 参数定义的上限引发操作阻塞或重要的Key被逐出，甚至引发内存溢出（Out Of Memory）。集群架构下，某个数据分片的内存使用率远超其他数据分片，无法使数据分片的内存资源达到均衡。对大Key执行读请求，会使 Tair ...
监控指标
如果函数实际消耗内存超过此上限，则会出现内存溢出OOM错误。函数所有实例按1分钟或1小时粒度取最大值。已使用内存（FunctionMaxMemoryUsage）MB 在调用函数时，函数执行所消耗的内存，表示函数实际消耗的内存。函数所有实例按1分钟或1小时...
变更实例配置
自动扩容实例配置 云数据库Redis集成了 DAS 的自动扩容功能，当内存平均使用率达到阈值后会自动升级Redis实例的规格，帮助您快速弹性适配业务高峰，避免内存溢出的风险，有效保障线上业务稳定性。具体操作，请参见 开启自动扩容。说明 自动...
Bloom
为防止TairBloom越来越大，甚至导致Redis内存溢出（Out Of Memory），向您提供如下使用建议。拆分业务数据：拆分、细化业务数据，避免将大量数据存入一个TairBloom中，这样不仅会导致这个key过大，影响查询性能，同时也会由于这个key中插入...
使用DTS迁移Redis
若目标实例内存空间不足，或目标实例为集群架构且某分片达到了内存上限，DTS任务会因内存溢出（Out of Memory）而失败。若目标实例已开启透明数据加密TDE功能，则暂不支持通过DTS迁移数据。为什么数据量不一致？若源库中的某些Key使用了...
云数据库Redis实例间单向数据迁移
若目标实例内存空间不足，或目标实例为集群架构且某分片达到了内存上限，DTS任务会因内存溢出（Out of Memory）而失败。若目标实例已开启透明数据加密TDE功能，则暂不支持通过DTS迁移数据。为什么数据量不一致？若源库中的某些Key使用了...
2023年
修复Master节点不回收Writer Gang，导致高并发场景下计算节点内存过高，容易出现内存溢出（OOM）的问题。修复列存表索引扫描（INDEX SCAN）结果可能出现错误的问题。修复AOCS表添加列辅助表时未使用正确的快照导致报错的问题。修复AO表和...
监控指标
如果函数实际消耗内存超过此上限，则会出现内存溢出OOM错误。函数所有实例按1分钟或1小时粒度取最大值。网络流量 入网流量（FunctionRXBytesPerSec）kbps 在调用函数时，函数执行在单位时间内的入网流量。函数所有实例按1分钟或1小时粒度...
发现并处理Redis的大Key和热Key
Redis内存达到 maxmemory 参数定义的上限引发操作阻塞或重要的Key被逐出，甚至引发内存溢出（Out Of Memory）。集群架构下，某个数据分片的内存使用率远超其他数据分片，无法使数据分片的内存资源达到均衡。对大Key执行读请求，会使Redis...
- 产品推荐
- 这些文档可能帮助您