JVM参数配置说明
XX:+UseAdaptiveSizePolicy 设置此选项后，并行收集器自动选择年轻代区大小和相应的Survivor区比例，以达到目标系统规定的最低响应时该间或者收集频率，该值建议使用并行收集器时，并且一直打开。Xmx3550m-Xms3550m-Xmn2g-Xss128k-XX:+...
并行DDL
多核处理器的发展为并行DDL使用更多线程数提供了硬件支持，而固态硬盘（Solid State Disk，简称SSD）的普及使得随机访问延迟与顺序访问延迟相近，使用并行DDL加速大表的索引创建显得尤为重要。使用方法 innodb_polar_parallel_ddl_threads ...
列存索引技术架构介绍
官方从MySQL 8.0开始，在 count(*)等基本查询上增加了并行执行能力，但构建复杂SQL语句的并行执行能力依然任重道远。MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式...
无锁结构变更方案对比
触发器的设计中拷贝数据和变更数据只能并行，无疑将会增加锁竞争。无触发器解耦了源表和目标表的依赖，所以锁竞争也就不复存在。关于目标表上的拷贝和更新时的竞争，我们在逻辑上使用交叉执行的方式避免和降低锁竞争，虽然会影响变更效率，...
以太网设备接入物联网平台
基于Ubuntu+C+MQTT+物模型的加法器实现 请参见快速体验中的“以物模型编程方式接入设备”，该章节描述了在Ubuntu上使用C SDK实现的一个支持加法运算的设备逻辑。有关API说明请参见 C语言的物模型编程指南。基于Windows+C+MQTT Topic的数据...
Wi-Fi设备接入物联网平台
基于Ubuntu+C+MQTT+物模型的加法器实现 请参见 快速体验 中的“以物模型编程方式接入设备”，该章节描述了在Ubuntu上使用C SDK实现的一个支持加法运算的设备逻辑。请参见 C语言的物模型编程指南 了解相关API说明。基于Ubuntu+C+MQTT的OTA...
扫描完全下推（FastTraverse）
在社区MySQL版本8.0.18中，其并行扫描虽然实现了在InnoDB引擎中快速遍历page中的行记录，但引擎会忽视优化器选择的路径，强制选择主键路径。PolarDB MySQL版 真正实现了扫描的完全下推，它会在优化器选择的索引page上快速遍历...
PolarDB HTAP实时数据分析技术解密
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版 的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.17及以上）说明 您可通过如下语句查看 PolarDB ...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.1.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
在Windows容器中使用基于DirectX的GPU加速
DirectX可以允许GPU从事更多的通用计算工作，同时减轻过载，鼓励开发人员更好地将GPU作为并行处理器使用。步骤一：为Windows节点安装DirectX设备插件 将DirectX设备插件以DaemonSet方式部署到Windows节点上。使用以下内容创建 directx-...
技术原理
当优化器判断对于某一个特定的查询，并行查询是最快的执行策略时，优化器将创建一个查询计划。该计划包括一个 Gather 或者 Gather Merge 节点。下面是一个简单的例子：EXPLAIN SELECT*FROM pgbench_accounts WHERE filler LIKE '%x%';QUERY...
更换集群损坏的本地盘
在 EMR控制台 上单击坏盘所在集群，在 集群服务 页签找到对该坏盘有读写操作的EMR服务，通常包括HDFS、HBase和Kudu等存储类服务，选择目标服务区域的>停止 完成服务停止操作。您也可以在该节点通过 sudo fuser-mv$device_name 命令查看占用...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
网关接入物联网平台
基于Ubuntu+C+MQTT+物模型的加法器实现 请参见快速体验中的“以物模型编程方式接入设备”，该章节描述了在Ubuntu上使用C SDK实现的一个支持加法运算的设备逻辑。物模型编程以及相关API说明，请参见 C语言的物模型编程指南。注意 非C语言的...
常见问题
本文介绍云连接器（Cloud Connector）相关常见问题。什么是物联网？什么是云连接器？为什么选择云连接器？云连接器的使用场景及操作指导？使用云连接器有哪些注意事项？什么是物联网？物联网IoT（Internet of Things）是基于互联网、传统...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
物模型开发
下面是服务调用进行处理的代码示例：/示例服务是一个加法器，云端服务调用时给出x和y，返回x和y的和 function addFunc(x,y){ let err;if(x=undefined|y=undefined){ err='x or y invail value';return {err,code:10001}/输入参数错误时的...
概述
在执行器层面，PolarDB分布式版提供的是面向行列混合场景的一体化执行器，一套执行器同时支持HTAP场景。同时算子层做了向量化改造，支持了MPP加速技术，在复杂查询场景中，可以充分利用多节点资源并行计算，保证了高吞吐的复杂查询需求。...
Parallelism Hints
PARALLEL optimizer hint用于强制执行并行扫描；NO_PARALLEL optimizer hint阻止使用并行扫描。摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）...
Parallelism Hints
PARALLEL optimizer hint用于强制执行并行扫描；NO_PARALLEL optimizer hint阻止使用并行扫描。摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）...
参数说明
parallel_tuple_cost 设置规划器对于从一个并行工作者进程传递一个元组给另一个进程的代价估计。默认是 0.1。min_parallel_table_scan_size 为必须扫描的表数据量设置一个最小值，扫描的表数据量超过这一个值才会考虑使用并行扫描。对于...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
使用场景
即使对于一个特定的查询已经产生了并行查询计划，在一些情况下执行时也不会并行执行该计划。如果发生这种情况，那么领导者将会自己执行该计划在 Gather 节点之下的部分，就好像 Gather 节点不存在一样。上述情况将在满足下面的任一条件时...
何时使用Range-Hash分区
对于这些类型的表（典型的数据仓库系统)，组合Range-Hash分区提供了在Range级别进行分区修剪的优势，并有机会在Hash级别执行并行的全分区或部分分区连接。对于特定的SQL语句，特定的情况可以从两个维度上的分区修剪中受益。组合Range-Hash...
阿里云异构计算产品总览
什么是异构计算 异构计算（Heterogeneous Computing）是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式，目前主要包括GPU云服务器、FPGA云服务器 以及弹性加速计算实例EAIS 等。异构计算能够让最适合的专用硬件去服务最适合...
PolarDB处理TPC-H查询的挑战和机遇
clustered index，如果数据是按照日期组织的，那么两表的join大体上会比较有序（两个join key，有一定时序上语义的关联性），但是优化器必须可以识别这种相关性。table partitioning，通过range partition，可以比较好的做partition ...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
Ganos并行创建空间索引
PolarDB PostgreSQL版（兼容Oracle）提供了Ganos并行创建空间索引功能，本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速，您可通过本章节的内容体验千万级时空数据创建空间...
实现动态数据加和
var value=Math.random()*10000 return[{"name":"","value":12345+value }]序列执行节点：首先将数据保存为临时变量，接着将两个数字翻牌器进行加法运算，导入显示组件中。变量A return { data:[{ name:"up",value:data[0].value|0 }]};...
OPT_PARAM Hints
enable_parallel_hash 允许或禁止查询规划器对并行哈希使用哈希连接计划类型。如果哈希连接计划没有启用，则此参数不生效。enable_partition_pruning 允许或禁止查询规划器从查询计划中消除一个分区表的分区。同时也控制着规划器产生允许...
OPT_PARAM Hints
enable_parallel_hash 允许或禁止查询规划器对并行哈希使用哈希连接计划类型。如果哈希连接计划没有启用，则此参数不生效。enable_partition_pruning 允许或禁止查询规划器从查询计划中消除一个分区表的分区。同时也控制着规划器产生允许...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
技术架构
同时在分布式事务的基础上，提供全局二级索引能力，通过事务多写保证索引和主表数据强一致的同时，引入基于代价的CBO优化器实现索引选择。除此以外，在元数据和生态对接层面，PolarDB-X 1.0 基于Online DDL的技术提供了分布式下元数据的...
混合负载HTAP的实践和优化
路由 智能路由 PolarDB-X 优化器会基于代价分析出查询物理扫描行数、CPU、内存、IO、网络等核心资源消耗量，将请求区分为TP与AP负载。当您在集群地址上开启了智能路由，会主动识别SQL的工作负载类型来做路由，比如将识别为AP负载的流量路由...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
并行查询配置参数说明
本章节介绍了并行查询功能相关的参数和变量。并行查询相关参数 表 1.系统参数 参数名 级别 描述 max_parallel_degree Global、Session 单个查询的最大并行度，即并行执行的最大Worker数量。取值范围：[0-1024]；默认值：0，表示关闭并行...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
为什么云原生数据仓库AnalyticDB版的OLAP性能比RDS好...
云原生数据仓库AnalyticDB版为OLAP场景进行了深度的优化，例如列式存储、分布式优化器，块级别的数据压缩，并行的数据导入和导出，弹性扩容，隐式并行的机器学习库MADlib（已经支持），R过程语言（即将推出）等。RDS是为OLTP设计的，不适合...
- 产品推荐
- 这些文档可能帮助您