并行DDL
当数据库硬件资源空闲时，您可以通过并行DDL功能加速DDL执行，避免阻塞后续相关的DML操作，缩短执行DDL操作的窗口期。前提条件 创建二级索引时，PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.1.7及...
PolarDB MySQL版8.0.2版本发布日志
修复在B-tree较高或B-tree数据倾斜的大表上执行并行查询操作时，可能存在的并行分片数目过少，或并发worker数据不均衡的问题。8.0.2.2.22 类别 说明 发布时间 新增功能和性能优化 支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、...
导出结构和数据
通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅导出结构：仅导出数据库对象的定义语句。导出文件格式...
玄武分析型存储
高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层再到持久分布式存储层，都可以并行扩展，再结合行列混合存储引擎，增量和全量的异步转换实现了高吞吐高并发实时写入。在实时可见性方面，...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
教育场景识别
试卷切题 读光试卷切题可支持各学科的教辅试卷的结构化电子录入，将试卷中的题目进行自动化切分和结构化打标，并进行对应题目、题干、选项、答案等内容的结构化输出，能够大大释放手工录题成本，在教辅数字化、试卷批改有广泛应用。...
使用EXPLAIN查看并行计划
本文介绍如何使用EXPLAIN语句查看执行计划输出中与并行查询相关的内容。查询用表 本文示例中使用 pq_test 表进行并行查询测试。表结构如下：SHOW CREATE TABLE pq_test\G*1.row*Table:pq_test Create Table:CREATE TABLE `pq_test`(`id` ...
如何处理DDL异常
Query OK,1671168 rows affected(1 min 35.54 sec)因此，执行一个大表DDL操作前，可以通过以下步骤判定这是一个快速还是慢速的操作：复制表结构生成一张克隆表。插入一些数据。在克隆表上执行目标DDL操作。检查操作完成后 rows affected 值...
SELECT
开启并行查询 开启Lindorm并行查询功能可以将时空查询的性能提升至原来的两倍以上。一般情况下，Lindorm并行查询能力默认为关闭状态，请 提交工单 开启并行查询功能。开启并行查询功能后，需要通过 HINT 设置_l_enable_parallel_参数，为每...
控制台发布记录
2022-07-25 一键升级RDS MySQL至PolarDB MySQL版 一键克隆支持DTS迁移方式 通过数据传输服务DTS，创建数据同步任务，可以将源RDS MySQL实例的库表结构和全量数据同步至创建的 PolarDB MySQL版 集群中。2022-07-22 一键克隆RDS MySQL至...
导入结构和数据
通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅导入结构：仅导入数据库对象的定义语句。导入文件格式...
InnoDB Physiological Logging
对于 INSERT、UPDATE 和 DELETE 等操作可以保证记录到页面级别，在故障恢复时，不需要重新执行Btree遍历找到页面就可以并行回放日志，从而加快故障恢复。PolarDB 针对当前InnoDB日志一些冗余的地方也做了改进。例如，增加了record长度信息...
如何对JSON类型进行高效分析
半结构化数据发生结构变化时，无需每次都更改表结构，可以在查询频率不高时直接通过JSON列式函数实时计算。尤其在 PolarDB IMCI的JSON列存版本中，大部分情况下实时计算也能满足查询性能。PolarDB IMCI实现列存表的秒级加减虚拟列INSTANT ...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB处理TPC-H查询的挑战和机遇
Interpreter Overhead 对于expression tree，由于其复杂的分支递归结构，做解析执行的成本很高，可以通过JIT或Vectorize来提升效率。向量化或编译执行是两个非常大的话题，无论学术界还是产业界都有广泛的应用，各自适用于不同的场景。不过...
PolarDB MySQL版DDL操作指南
您也可以通过并行DDL功能进行加速。此外，若您的表中存在列存索引，由于加列操作需要重建列存索引，因此，不支持对含有列存索引的表执行秒级加列操作。您可以将参数 loose_imci_enable_add_column_instant_ddl 的值设置为 ON 来开启秒级...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
PolarDB HTAP实时数据分析技术解密
最后，列存中的大块存储结构，结合MIN、MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都极大的提升了IO的效率。在存储计算分离架构下，减少网络读取的数据量，可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据...
模块化开发概述
模块结构及功能 模块结构 一个 SOFABoot 工程可以包含多个模块，每个模块都含有独立的上下文。SOFABoot 模块主要包括下述 2 个部分：一个普通的 JAR 包。主要包含：Java 代码 Spring 配置文件 SOFABoot 子模块标识 SOFABoot 特有的配置。...
pg_hint_plan
pg_hint_plan插件通过特殊的注释语句提示来...说明 pg_hint_plan也可以指定跨机并行查询生成的查询计划。目前在跨机并行查询场景下，不支持行数校正提示，连接方法提示仅能作用于两表之间的连接，连接顺序提示仅能指定全部表之间的先后顺序。
pg_hint_plan
pg_hint_plan插件通过特殊的注释语句提示来...说明 pg_hint_plan也可以指定跨机并行查询生成的查询计划。目前在跨机并行查询场景下，不支持行数校正提示，连接方法提示仅能作用于两表之间的连接，连接顺序提示仅能指定全部表之间的先后顺序。
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。背景信息 PolarDB PostgreSQL版（兼容Oracle）支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版 的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.13.0及以上）PostgreSQL 11（内核小版本1.1.35及以上）说明 您可通过如下...
什么是自动驾驶开发平台
数据管理提供自动驾驶采集数据在云上数据预处理、预标注、管理、检索、重组、回放、输出到仿真或训练系统中的能力：非结构化数据处理针对非结构化数据处理提供DAG调度和并行计算能力，构建自动调度的10倍加速的自动驾驶数据工作流 多模态...
产品整体介绍
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能，支持数据高吞吐实时写入与批量导入，提供ACID保证和标准事务隔离级别，采用MPP全并行架构，是一款具有高性价比的云原生数仓产品，提供基于...
LogHub（SLS）实时ETL同步至Hologres
单击右上角的 高级参数配置，对同步任务运行时并行度和资源配置，您可以根据Logstore数据流量和分区数量确定对应配置项取值，建议可以按照如下简单规则进行配置：读端并发数=Logstore分区数 写端并发数=Logstore分区数 内存（GB）=1.5G+...
未来规划
如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...
补数据
选择并行，您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据，即多个补数据实例下有多个业务日期并行执行。实时场景：假设小时、分钟节点选择补一个星期数据。如果小时、分钟节点设置了自依赖，那么小时、分钟节点每天的...
最佳实践
您可以通过GUC参数动态调整参与ePQ并行执行的计算节点(Scale Out)，以及节点上的单机并行度(Scale Up)，从而实现Serverless弹性扩展。注意事项 ePQ暂不支持 Oracle语法兼容2.0版本。一键开启ePQ功能 如果当前有张表 t1，可以通过以下命令一...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
Map模型
子任务中如果有如上两个数据结构，请替换其他的数据结构（特别是 BigDecimal，序列化不会报错，反序列化会变成0）。接口 接口 解释 是否必选 public ProcessResult process(JobContext context)throws Exception;每个子任务执行业务的入口...
VACUUM
这种形式的命令可以和表的普通读写操作并行，因为它不会获得一个排他锁。但是，这种形式中额外的空间并没有被还给操作系统（在大多数情况下），它仅仅被保留在同一个表中以备重用。它还允许我们利用多个 CPU 来处理索引。此功能称为 ...
最佳实践
您可以通过GUC参数动态调整参与ePQ并行执行的计算节点(Scale Out)，以及节点上的单机并行度(Scale Up)，从而实现Serverless弹性扩展。ePQ善于解决复杂、执行时间长的OLAP长查询，不适用于简单、执行时间短的OLTP短查询。对于短查询而言，...
如何基于LSM-tree架构实现一写多读
本文主要阐述如何基于LSM-tree结构的存储引擎实现数据库的一写多读能力。LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的...
什么是PolarDB PostgreSQL版（兼容Oracle）
数据结构多样时，可以选择将结构化数据存储在 PolarDB PostgreSQL版（兼容Oracle），将非结构化数据存储在MongoDB，满足业务的多样化存储需求。DTS：您可以使用数据传输服务DTS将本地数据库迁移到云上的 PolarDB PostgreSQL版（兼容Oracle...
StarRocks
类别 详情 支持类型 源表和结果表 运行模式 流模式和批模式 数据格式 JSON和CSV 特有监控指标 暂无 API种类 Datastream和SQL 是否支持更新或删除结果表数据 是 特色功能 EMR的StarRocks支持CTAS&CDAS功能，CTAS可以实现单表的结构和数据...
Kafka单表实时入湖OSS（HUDI）
单击页面右上角的 高级参数配置，对同步任务运行时的并行度和资源进行配置，您可以根据Kafka Topic数据流量和分区数量确定对应配置项的取值，建议按照如下规则进行配置：读端并发数=Kafka Topic分区数 写端并发数=Kafka Topic分区数 内存=1...
语法结构 CREATE TABLE print_table(a INT,b varchar)WITH('connector'='print','logger'='true');您也可以基于现有的表模式使用 LIKE 子句来创建，代码示例如下。CREATE TABLE print_table WITH('connector'='print')LIKE table_source...
- 产品推荐
- 这些文档可能帮助您