PolarDB MySQL版8.0.1版本发布日志
优化列存索引内存调度功能，提升内存利用率。优化非阻塞DDL功能，以支持更多的DDL语句。支持同时使用列存索引和全局一致性（高性能模式）功能。支持使用 CHECK TABLE 命令检查特定分区。2024-03-19 问题修复 修复在多主集群上执行TRUNCATE...
分析视图简介
注意堆外内存并不完全等价于DirectBuffer对象，由于DirectBuffer持有UNSAFE分配的堆外内存，它能在一定程度上反应堆外内存的情况（以及潜在的泄漏等问题）。垃圾回收根 垃圾回收根是指垃圾回收器回收内存时，从根出发，寻找到存活对象，...
查看运行分析
字节（Byte）TM 堆外内存（TM NonHeap Memory）TM 堆外内存已使用量（TM NonHeap Memory Used）TM 堆外内存已使用量。字节（Byte）TM 堆外内存已申请量（TM NonHeap Memory Committed）TM 堆外内存已申请量。字节（Byte）TM 堆外内存最大可...
对象存储OSS使用Java实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Java语言实现的示例。说明：建议优先使用OSS提供SDK，本文提供的只是签名...
列存索引内存管理介绍
图5 未打开内存管理时的内存波动情况 打开内存管理后，列存索引会根据内存使用的实际情况适时增加并发数量，查询之间的内存峰值与波谷可以相互叠加，波动减小，内存使用率提升。同时也带来了性能的提升。打开内存管理后的内存波动情况如下...
JVM监控内存详情说明
堆内存泄露分析 ARMS提供了完善的堆内存泄露定位分析能力，用户可以通过JVM堆内存监控查看是否出现堆内存缓慢增长，如果存在相关堆内存持续增长趋势，可以通过ARMS提供的 内存快照 或 持续剖析 功能排查定位堆内内存泄露位置。堆外内存泄露...
java_lang_OutOfMemoryError
解决方案 OutOfMemoryError是在当程序需要请求一块内存，而Java虚拟机进行垃圾回收机制GC后无法再提供要求的内存时抛出此类异常，程序已经占用的内存到达系统限制的应用内存上线无法再申请到所需的内存空间。需要重点检查代码中是否有死...
概述
为了满足这方面的需求，PolarDB PostgreSQL版 除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，既不影响查询...
概述
为了满足这方面的需求，PolarDB PostgreSQL版（兼容Oracle）除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，...
概述
为了满足这方面的需求，PolarDB PostgreSQL版（兼容Oracle）除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，...
分流方案概述
如果您的业务中既包含OLTP类业务又包含OLAP类业务，则为了实现业务的最大性能，您可以基于列存索引特性，通过数据库代理的集群地址功能，实现OLAP查询引流到列存节点、OLTP查询引流到行存节点。背景信息 PolarDB MySQL版 支持两种只读节点...
DELETE
如果是列存表，系统会在内存中存储一张标记表，然后Flush成标记表文件，标记表文件会记录删除的数据所在的文件号（file id）和行号（row id），然后在Compaction的时候做合并。更多原理请参见 Hologres高性能写入技术揭秘。为了提高删除...
SPARK指标
JVM Committed Non-Heap Memory spark_thrift_driver_jvm_non_heap_committed JVM已预留堆外内存。单位：Byte。JVM Init Non-Heap Memory spark_thrift_driver_jvm_non_heap_init JVM初始化堆外内存。单位：Byte。JVM Used Non-Heap Memory...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
内存诊断
内存诊断有普通内存诊断和共享内存诊断两种方式，具体内存诊断方式根据需求而定。普通内存 可以通过观察 polar_stat_activity_rt 视图，如下所示：SELECT pid,rss FROM polar_stat_activity_rt ORDER BY rss DESC;\watch 1 进而可通过 ...
列存索引技术架构介绍
其包含如下几个关键的技术创新点：存储引擎（InnoDB）支持存储列式索引（Columnar Index），用户可以通过DDL语句为一张表中的全部列或者部分列创建列索引，列索引采用列压缩存储，其存储空间消耗会远小于行存格式。默认列索引会全部常驻...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
企业级状态后端存储配置
本文为您介绍在使用企业级状态后端存储GeminiStateBackend时，可能会用到的一些调优参数。背景信息 在大部分场景下，基于自适应调参功能，GeminiStateBackend会自动调整参数而不需要您手动配置。您只需要根据业务场景，调整一些基本配置，...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
PolarDB HTAP实时数据分析技术解密
但在行列混合存储架构中，行存索引和列存索引在处理随机更新时存在性能鸿沟，必须借助DRAM的低读写延时来弥补列式存储更新效率低的问题。因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。...
实例规格族
小规格实例云盘IOPS和云盘带宽具备突发能力 实例存储I/O性能与计算规格对应（规格越高存储I/O性能越强）说明 全新一代企业级实例规格族的存储I/O性能表，请参见 存储I/O性能。网络：支持IPv4、IPv6 支持ERI（Elastic RDMA Interface）说明 ...
数据服务集群
存算分离优势如下：更低的存储成本：OSS存储。更低的运维成本：存储全托管。支持弹性伸缩：按需扩缩容计算资源。更容易升级：无状态（HBase表的元数据和数据存在OSS中，本地只有计算，升级版本时不用考虑数据迁移问题），更容易升级HBase...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
方案分析
在加入同步功能后，系统架构如下图所示：元数据 处理系统基本的存储和推送功能外，还需要对元数据进行处理，元数据包括用户信息和用户关系等。下面以用户关系进行介绍。用户账号之间的关注关系具有如下特点：变长链表，长度可达亿级别。...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL数据归档OSS功能后，用户可通过执行下面的DDL语句...
实时存储引擎
本文介绍 云原生数据仓库AnalyticDB MySQL版 的实时存储引擎。背景 云原生数据仓库AnalyticDB MySQL版 作为一款实时数仓产品，为了支持低延迟的写入、更新场景，在传统数仓能力基础上，设计了实时存储引擎。数据写入和更新会以Append_only...
PolarDB MySQL版8.0版本内核参数发布日志
2024.02.21 类型 参数 级别 说明 新增 loose_temptable_max_mmap Global TempTable存储引擎在开始将数据写入磁盘前，允许从MMAP支持的文件中分配的最大内存容量。取值范围：0~1099511627776。默认值为322122547200。单位为字节。2024.02.04...
列存索引中TopK算子的实现
动态选择内存磁盘算法 内存算法和磁盘算法不同，如果使用一个固定的阈值来作为选择内存算法或磁盘算法的依据（比如K小于阈值时使用内存算法，否则使用磁盘算法），那么针对不同的可用执行内存就需要设置不同的阈值，带来了人工干预的开销。...
排查Redis实例内存使用率高的问题
如果发现Redis内存占满或收到内存告警，可参考本文判断内存占用是否长期过高、内存占用是否突然上升、是否发生内存倾斜，并通过拆分大Key，设置过期策略，升级规格等方法解决问题。内存使用率高的现象分类 内存使用率高，通常分为以下三种...
UPDATE
行列混合存同样需要先查询缺失的列，但和列存不同的时，行列混合存查询缺失列时会通过行存文件进行查询，代价会更小。因此局部更新在性能上：行存>行列共存>列存。说明 以上描述的是SQL走Fixed Plan场景，局部更新性能：行存>行列共存>列存...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
查看集群日报与分析
HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据存储大小 HDFS使用分析 在HDFS使用分析中，您可以获取以下图表信息：HDFS User...
设置Bucket ACL
除特殊场景外，不建议您配置公共读写权限。public-read 公共读：只有该Bucket的拥有者可以对该Bucket内的文件进行写操作，任何人（包括匿名访问者）都可以对该Bucket中的文件进行读操作。警告 互联网上任何用户都可以对该Bucket内文件进行...
添加列存只读实例
规格系列 支持列存通用规格和列存独享规格 计算节点规格 按照节点规格×节点个数的方式售卖，您可以通过选择规格配置实例物理规格CPU核数和内存大小。说明 列存只读实例，仅包含计算层节点，不包含行存的存储层节点。计算节点个数 选择目标...
实例选型和集群规划
核数:内存:存储 推荐配比为 1:8:80，为了保障实例的整体性能，建议Segment数据存储量/内存≤20，以保证较高的缓存命中率。数据加密：有数据安全合规要求的场景，请选择数据加密选型，默认不加密。仅在创建实例时可以开启云盘加密，创建实例...
常见问题
任何兼容Redis的客户端都可以与 云原生内存数据库Tair 建立连接进行数据存储及相应操作。Tair实例是否有CPU处理能力、带宽和连接数等限制？云原生内存数据库Tair 实例在CPU处理能力、数据传输带宽（上行/下行）和连接数等方面都有限制。...
列存索引常见问题
本文汇总了 PolarDB MySQL版 列存索引相关的常见问题。说明 关于列存索引的使用问题请进钉钉群咨询，群号：27520023189。如何使用 PolarDB MySQL版 的列存索引功能？如果需要使用列存索引功能进行查询加速，需要执行以下操作：在 PolarDB ...
Tair选型指南
步骤 选型操作 说明 1 选择存储介质 云原生内存数据库Tair 面向高性能、高性价比和超大规格等多种场景提供不同的存储介质，分别为内存型、持久内存型和磁盘型。2 选择部署架构 云原生内存数据库Tair 支持 标准架构、集群架构 和 读写分离...
表存储格式定义
云原生数据仓库AnalyticDB PostgreSQL版 支持行存和列存两种存储模式。您可以根据使用场景，在建表时选行存表（适合数据更新较频繁或采用INSERT方式的实时写入的场景）或列存表（适合少量列的数据查询、聚集等数据仓库应用场景）。行存表 ...
实例规格概述
各规格类型对应的说明如下：规格类型 说明 是否承诺最大连接数 是否承诺最大IOPS 独享型云盘版 完全独享CPU、内存、存储介质以及I/O资源。是 是 独占物理机 完全独享CPU、内存、存储介质以及I/O资源。是 是 独享型本地盘版 独享CPU和内存，...
- 产品推荐
- 这些文档可能帮助您