创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
混合负载HTAP
这种方式也称为MPP并行计算（Massively Parallel Processing，简称MPP）。目前只有 PolarDB-X 只读实例默认开启了MPP并行计算能力。查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
矢量金字塔
并行构建使用了两阶段事务机制，需要设置数据库max_prepared_transactions参数，需要设置max_prepared_transactions=100或者更高，重启生效。使用4个CPU来并行构建矢量金字塔。SELECT ST_BuildPyramid('test','geom','id','{"parallel":4}'...
矢量金字塔
并行构建使用了两阶段事务机制，需要设置数据库max_prepared_transactions参数，需要设置max_prepared_transactions=100或者更高，重启生效。使用4个CPU来并行构建矢量金字塔。SELECT ST_BuildPyramid('test','geom','id','{"parallel":4}'...
矢量金字塔
并行构建使用了两阶段事务机制，需要设置数据库max_prepared_transactions参数，需要设置max_prepared_transactions=100或者更高，重启生效。使用4个CPU来并行构建矢量金字塔。SELECT ST_BuildPyramid('test','geom','id','{"parallel":4}'...
作业调试
资源配置 Task Managers数量 默认与并行度一致。JobManager CPU Cores 默认值为1。JobManager Memory 最小值为1 GiB，推荐值为4 GiB。单位建议使用GiB或MiB，例如，1024 MiB或1.5 GiB。JobManager推荐配置包含JobManager资源以及心跳相关...
PolarDB PostgreSQL版架构介绍
真正的回放被offload到了重启之后进来的session进程中。优化之后（回放500 MB日志量），如下图所示：Persistent BufferPool 上述方案优化了在recovery的重启速度，但是在重启之后，session进程通过读取WAL日志来回放想要的page。表示为在...
PolarDB PostgreSQL版架构介绍
真正的回放被offload到了重启之后进来的session进程中。优化之后（回放500 MB日志量），如下图所示：Persistent BufferPool 上述方案优化了在recovery的重启速度，但是在重启之后，session进程通过读取WAL日志来回放想要的page。表示为在...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
托管节点池节点自动恢复
说明 如果集群中存在多个节点池，节点池之间的节点自动恢复可以并行执行。如果一个节点池存在多个异常节点，自动恢复会以串行的方式逐个恢复。一旦某个节点恢复失败，ACK将停止对该节点池中其他故障节点的恢复。当节点处于恢复失败状态时，...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
配置作业部署信息
两次系统检查点间最短间隔 两次系统检查点之间的最短时间间隔，如果系统检查点最大并行度是1，则该配置确保两个系统检查点之间有一个最短时间间隔。State数据过期时间 如果时间超过了State数据过期时间，则State数据就过期了，系统就会自动...
数据库代理发布记录
修复开启并行查询下节点重启可能导致的Session hang问题。修复Optimize的某些场景下路由到只读节点的问题。修复with select的某些场景解析出错路由到主节点的问题。修复用户可以看到非预期的库polar_proxy_encode。修复增加只读节点期间...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
PolarDB MySQL版8.0.2版本发布日志
修复在B-tree较高或B-tree数据倾斜的大表上执行并行查询操作时，可能存在的并行分片数目过少，或并发worker数据不均衡的问题。8.0.2.2.22 类别 说明 发布时间 新增功能和性能优化 支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、...
并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
升级节点池
下图以最大并行数=N时为例，介绍分批次执行的流程，即每个批次的升级节点数为依次为1、2、4、8……直至达到最大并行数N。替盘升级单个节点内部的升级逻辑 执行节点排水（并设置节点为不可调度）。ECS关机，即停止节点。更换系统盘，系统盘...
玄武分析型存储
高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层再到持久分布式存储层，都可以并行扩展，再结合行列混合存储引擎，增量和全量的异步转换实现了高吞吐高并发实时写入。在实时可见性方面，...
2021年
使用跨机并行查询加速索引创建 2021年6月 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生crash recovery时，数据库可以在期望的RTO时间内完成崩溃恢复重启，恢复可用...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版 的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.17及以上）说明 您可通过如下语句查看 PolarDB ...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.1.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
实例运维常见问题
本文汇总了Lindorm实例在扩缩容、升降配、实例重启、版本升级等实例运维场景中的常见问题，包括但不限于操作耗时、业务影响及费用说明，帮助您快速了解运维操作中的相关细节和注意事项。问题导览 扩容、升配、服务开通 实例扩容节点需要...
2021年
对分区表使用跨机并行查询 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生crash recovery时，数据库可以在期望的RTO时间内完成崩溃恢复重启，恢复可用状态。...
跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
如果自建Redis开启了AOF，重启服务时，会优先使用AOF文件恢复数据，可能导致RDB文件的数据不能成功恢复到Redis中。此时，请关闭AOF。如果指定目录（dir）中的AOF文件备份到其他目录下，再重启Redis。重启后，如需打开AOF，可以执行 redis-...
如何将一棵LSM-Tree塞进NVM
对于256 MB的内存表，将仅持久化叶子结点时重启恢复非叶子结点的开销小于10毫秒，其恢复时间相对于所研究的数据库系统已足够快。其次，该索引的设计中采用序列号以及用户键分离的方式用于加速键的查找以及满足内存表的MVCC（Multi-Version ...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
持久缓存池（Warm Buffer Pool）
背景信息 PolarDB MySQL版 支持持久缓存池功能，在主节点主动重启或者异常崩溃后重启的过程中，缓存池（Buffer Pool）中的数据依然存在，从而大幅度加快重启速度，并保持重启后性能无衰减。前提条件 PolarDB 集群版本需为 PolarDB MySQL版 ...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
- 产品推荐
- 这些文档可能帮助您