基本原理
将数据变更事件通知给所有 SessionServer，事件内容是：id：版本号信息：<version>SessionServer 接收到变更事件通知后，对比 SessionServer 内存中存储的 dataInfoId 的 version，发现比 DataServer 发过来的小，所以主动向 DataServer ...
PolarDB Serverless实现了哪些突破
当数据库访问页面而本地缓存不命中时，需要从远程内存和远程存储中获取页面，这会慢于本地内存和磁盘，因此通过预取提升本地缓存的命中率，来提升分析查询类负载性能。第三个挑战：构建一个可靠的系统。在Serverless架构下，数据库从一个单...
缓存数据存储在 SSD 中还是内存中？
云数据库 Memcache 版目前仅提供缓存功能，数据存储在内存中。
磁盘型
背景信息 传统Redis基于内存属于易失性存储介质，随着业务持续快速的发展，数据量飞速的增长，您可能会遇到如下挑战：沉淀的数据越来越多但访问量低，数据存储在内存中性价比低，需要低成本存储来满足业务更多数据迭代的需求。需要搭配其他...
磁盘型
背景信息 传统Redis基于内存属于易失性存储介质，随着业务持续快速的发展，数据量飞速的增长，您可能会遇到如下挑战：沉淀的数据越来越多但访问量低，数据存储在内存中性价比低，需要低成本存储来满足业务更多数据迭代的需求。需要搭配其他...
云存储网关软件版公测
db中存储操作日志，如果文件上传中断，会重新继续上传。无需用户自己维护启动脚本。失败重传：云存储网关软件版是异步上传，网络失败的情况下会自动重试失败的部分，而不是像ossfs直接返回失败。超大文件写入支持：ossfs数据缓存落在系统盘...
功能特性
日志转存 数据处理 图片处理 对OSS中存储的图片执行不同的操作，例如格式转换、裁剪、缩放、旋转、水印和样式封装等。图片处理 ZIP包解压 OSS提供ZIP文件自动解压功能。配置解压规则后，您上传到OSS指定路径的ZIP文件都会被自动解压。ZIP包...
混合存储型（已停售）
混合存储型架构图 Redis企业版混合存储型（简称混合存储型）是阿里云自主研发的兼容Redis协议的混合存储产品，使用磁盘存储全量数据，将热数据保存到内存中供应用快速读写。在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度...
查询Bucket级别的用量情况
图片处理请求次数：记录处理存储空间中图片的请求次数。在图表上方选择资源使用量的时间粒度。以请求次数为例，说明基础数据的查看方法。图表下方默认显示4xx错误、5xx错误、PUT类型以及GET类型等基础数据。您可以选择隐藏不需要显示的数据...
上传本地内存
本文档介绍如何将本地内存中的内容上传到OSS。示例代码 以下代码用于将本地内存中的内容上传到OSS。const OSS=require('ali-oss');const client=new OSS({/yourregion填写Bucket所在地域。以华东1（杭州）为例，Region填写为oss-...
典型慢查询
AnalyticDB MySQL 会将GROUP BY字段的值缓存在内存中。如果GROUP BY的字段唯一值较多，就会占用较多内存。Stage中有JOIN操作。在使用Hash方式进行Join时，AnalyticDB MySQL 会把某张表的数据缓存到内存中。如果被缓存的表较大，就会占用较...
JVM监控内存详情说明
直接缓冲区 Java中的直接缓冲区（Direct Buffer）是一种特殊类型的缓冲区，它直接在操作系统的内存中分配空间，而不是在Java虚拟机的堆内存中分配。直接缓冲区的主要特点是可以提供更快的I/O操作，并且可以避免内存复制的开销，因此在处理...
混合存储型（已停售）
混合存储型架构图 Tair 混合存储型（简称混合存储型）是阿里云自主研发的兼容Redis协议的混合存储产品，使用磁盘存储全量数据，将热数据保存到内存中供应用快速读写。在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户...
配置使用持久内存
持久内存的使用方式包括：作为内存使用：您可以将部分原本存放在普通内存中的数据存放到持久内存中，例如对访问速度要求较低的非热点数据。持久内存容量大，单GiB价格更实惠，可以帮助您大幅降低单GiB内存的整体拥有成本（TCO）。作为本地...
文件存储
只读节点的pg_control文件仅在启动时从共享存储中读取，启动后在内存中维护。目录/文件 说明 存储位置 base 每个库的子目录。共享存储 global 集群全局表的目录。pg_tblspc 表空间。pg_wal WAL日志目录。pg_dynshmem 用于动态共享内存的...
PolarDB PostgreSQL版架构介绍
T5时刻，再次从只读节点上发起读取P1操作，由于内存中已经将P1淘汰掉了，因此从Shared-Storage上读取，此时读取到了 过去页面 的内容。过去页面的解法 只读节点在任意时刻读取页面时，需要找到对应的Base页面和对应起点的日志，依次回放。...
MySQL 实际内存分配情况介绍
通常是在 buffer_pool 中申请内存的时候还需要在额外内存中申请空间存储该对象的结构信息。该大小主要与表数量有关，表数量越大需要更大的空间。key_buffer 该部分是 MyISAM 表的重要缓存区域，所有实例统一为 16 M。该部分主要存放 MyISAM...
MySQL实际内存分配情况介绍
通常是在 buffer_pool 中申请内存的时候还需要在额外内存中申请空间存储该对象的结构信息。该大小主要与表数量有关，表数量越大需要更大的空间。key_buffer 该部分是 MyISAM 表的重要缓存区域，所有实例统一为 16 M。该部分主要存放 MyISAM...
离线全量Key分析
您可以通过离线全量Key分析功能来分析 Tair 的备份文件，快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。该功能由 ...
非易失性存储卷概述
背景信息 PMEM是一类高性能、数据可持久、内存存储的统称。PMEM位于内存总线上，支持像DRAM一样访问数据，具备与DRAM相当的速度和延迟，而且兼具NAND闪存的非易失性。主要优势包括：访问延迟低于闪存SSD的访问延迟。吞吐量提高，超过闪存...
可观测性能力
实时Top Key统计 功能准确性高，且对性能几乎无影响，帮助您掌握Key在内存中的占用、Key的访问频次等信息，溯源分析问题，为您的优化操作提供数据支持。在控制台目标实例详情页的 CloudDBA>实时Top Key统计 页签中，进行热Key与大Key分析，...
步骤1：创建实例
持久内存：数据在持久内存中存取，提供命令级强持久化能力，适用于对性能要求较高，同时对数据一致性有要求的场景。更多信息，请参见 持久内存型。磁盘（ESSD/SSD）：数据存储在ESSD云盘或SSD本地盘中，提供命令级强持久化能力，大容量，...
高级配置：内存缓存本地目录
通过将模型文件缓存到内存中，可以提高读取数据的速度，减少延时。本文为您介绍如何配置本地目录内存缓存并详细说明其带来的加速效果。背景信息 在大部分模型推理场景中，特别是在典型的Stable Diffusion场景中，存在推理耗时长的问题。在...
图片处理常见问题
目前对CMYK的兼容还在支持中，图片色彩空间被挤压会产生色彩的变化。图片在本地可以正常打开，进行图片处理时提示已损坏 问题现象：图片文件在本地可以正常打开，但是上传到OSS无法进行图片处理，反馈图片损坏。排查步骤：获取原始的OSS ...
列存索引中TopK算子的实现
重要 本文中的内存充足是指，算法中用于管理至少K条记录的数据结构可以在执行内存中缓存，而不是TopK查询的输入数据可以在执行内存中缓存。实际上本文讨论的场景，TopK查询的输入数据都是远大于执行内存的。另外，从系统设计的角度上看，...
实时存储引擎
当Page在内存中时：头部第一个bit标记为0；其余bit用来表征Page的物理地址。当Page在磁盘中时：头部第一个bit标记为1；第2~7个bit记录Page的SizeClass，SizeClass用来计算Page大小；剩余的57个bit记录Page的逻辑ID。Swizzling Pointer技术...
下载到本地内存
示例代码 以下代码用于把指定的OSS文件下载到内存中：#include"oss_api.h"#include"aos_http_io.h" /*yourEndpoint填写Bucket所在地域对应的Endpoint。以华东1（杭州）为例，Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。const ...
发现并处理大Key和热Key
对 Tair 的RDB备份文件进行定制化的分析，帮助您发现实例中的大Key，掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。通过redis-cli的 bigkeys 和 ...
Hologres管控台的监控指标
Meta：元数据、文件等占用的内存，元数据的内存使用采用Lazy Open模式，即频繁被访问的元数据会常驻内存中，未被访问的元数据则不会放在内存中，以此来减少元数据对内存的占用。一般建议meta占用的内存维持在总内存的30%以内。如果meta的...
磁盘（SSD）型性能白皮书
测试主要针对下述两种场景进行：内存大于数据场景：绝大部分数据可以在内存中访问到，此场景下内存与数据的比例约为7:1。数据大于内存场景：只有部分数据缓存在内存，部分访问请求需要读取硬盘中的数据，根据负载不同，需要访问磁盘的比例...
调优集群性能
TopN算子 云原生数据仓库 AnalyticDB MySQL 版 在进行TopN计算时（例如SQL中有 ORDER BY id LIMIT m,n），当 m 较大时，云原生数据仓库 AnalyticDB MySQL 版 中的TopN算子会缓存较多数据在内存中，以完成最终的全局排序，这个过程会消耗较...
现代IM系统中的消息系统—模型
对同步库的查询会比较频繁，通常是对最新消息的查询，所以要求热数据尽量缓存在内存中，能提供高并发低延迟的查询。所以对同步库的配置，一般是需要SSD存储。消息如果已经同步到了所有的终端，则代表收件箱内的该消息已经被消费完毕，理论...
多元索引介绍
嵌套查询 在线数据中，除了扁平化的一层结构外，还存在一些更复杂的多层结构场景，例如图片标签：某个系统中存储了大量图片，每个图片都有多个实体，例如有房子、有轿车、有人。在每个图片中，这些实体占的位置和空间大小都不同，所以每个...
简单上传
本文主要介绍如何从内存中或从本地磁盘上传文件（Object）。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请参见 ...
如何将一棵LSM-Tree塞进NVM
如上图所示，对于仅有一个版本的值（9）将直接在索引中存储一个指向PM具体位置的指针，对于有多个版本的值，设计中使用可伸缩的数组用于存储多版本序列号及其具体的指针。由于索引是易失的，键并不显式存储在索引中，且索引在重启时通过...
RDS MySQL内存使用问题
RDS MySQL的InnoDB Buffer Pool大小默认设置为内存的75%，这部分内存通常是实例内存中占比最大的。Buffer Pool相关的常见问题：数据页预热不足导致查询的延迟较高。通常发生在实例重启、冷数据读取或缓冲池命中率较低的场景，建议升级实例...
磁盘（ESSD）型性能白皮书
测试主要针对下述两种场景进行：内存大于数据场景：绝大部分数据可以在内存中访问到，此场景下内存与数据的比例约为7:1。数据大于内存场景：只有部分数据缓存在内存，部分访问请求需要读取硬盘中的数据，根据负载不同，需要访问磁盘的比例...
Tair开发运维规范
离线全量Key分析：帮助您快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息。实时Top Key统计：帮助您快速发现实例中的热点Key，为进一步的优化提供数据支持。评估并开启审计日志功能。开通审计日志功能后，可...
内存诊断
tmpfs Linux临时文件系统，是一种基于内存的文件系统，读写的文件内容只存在内存中。hugetlb 基于文件系统的大页内存。内核内存 内核态内存重点关注Sunreclaim及伙伴系统的使用量，内存泄露通常都是指这两个指标异常。指标 说明 ...
多元索引功能
假设某个系统中存储了大量图片，每个图片中都有多个实体（例如房子、轿车、人等），在每个图片中这些实体的位置和空间大小各不相同，因此每个实体的权重（score）不同，这样相当于每个图片均有多个标签，每个标签包括一个名称和一个权重分...
- 产品推荐
- 这些文档可能帮助您