快速开始
阶段之间可以是串行也可以是并行的；任务：在阶段中具体需要完成的动作，目前任务主要包含两类，一类是与工作区相关的（AgentJob）以及与工作区无关的（Agentless Job），工作区相关任务会在固定的工作目录中执行用户定义的任务。而工作区...
如何基于LSM-tree架构实现一写多读
LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的特点，将所有更新操作都转化为追加写方式，提升写入吞吐。LSM-tree类的存储...
PolarDB并行查询
全算子的并行支持，包括上面提到的复杂的多层嵌套结构，也可以做到完全的并行。引入exchange算子，即支持Shuffle/Broadcast等数据分发操作。引入一定自适应能力，即使并行优化完成了，也可以根据资源负载情况做动态调整，如回退串行或降低...
并行INSERT
本文介绍了的并行INSERT功能。简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO...
并行INSERT
本文介绍了 PolarDB PostgreSQL版 的并行INSERT功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.12.0及以上）说明 您可通过如下语句查看 PolarDB ...
产品优势
低门槛 对于传统行业来说，会不会设计是人与人之间的一道鸿沟，想要做图片设计，必须购买昂贵的设计设备和设计软件，并且要经过相当长时间的专业培训。对普通人来说，想要做出一款商业海报，不仅受困于专业上的设计门槛，还得面临图片、...
并行循环步骤
并行循环步骤的每次迭代执行都对应一个本地变量。执行并行循环步骤会对输入参数里的每个元素并发执行串行步骤。这些串行步骤会改变其迭代对应的本地变量。当所有分支执行结束后，可以通过输出映射将迭代本地变量数组转换为并行步骤的输出。...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
概述
本章节会全面描述基于云基础设施的高性能系统设计、实施和优化等环节，包括如下主要内容：高性能架构设计：包括高性能架构常见设计准则、业务适应规格和类型、可伸缩和可扩展、性能层面部分架构设计最佳实践和挑战和注意事项等内容。...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
配置ECI Pod在ClusterIP同步后再创建
由于ECI Pod和负责同步Service的组件是并行启动运行的，当集群中存在大量Service和Endpoint时，可能会出现因ClusterIp未同步而导致Pod访问超时的情况。本文介绍如何配置ECI Pod在ClusterIP同步后再创建，确保Pod中的容器在访问Service时，...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
安全设计原则
数据安全保护原则 基于安全责任共担模型，数据安全的体系建设同样划分为租户和云平台，租户侧建立数据安全保护体系建议参考如下原则进行设计：数据的分类分级原则：企业应结合实际应用和业务特性，有意识的建立数据分类分级制度和体系，...
2、PM如何设计工作流和创建看板？
团队应用看板方法的目标：顺畅、高质量地交付有效价值，看板的设计需要服务于这一目标，所以看板的设计，要真实和清晰的反映团队协作交付价值的过程，做到体现价值、反映协作和暴露问题。作者：舍卫｜阿里巴巴集团技术专家 看板设计可分四...
ClickHouse概述
MPP架构 每个节点只访问本地内存和存储，节点信息交互和节点本身是并行处理的。查询性能好，易于扩展。向量化引擎：为了高效的使用CPU，数据不仅仅按列存储，同时还按向量（列的一部分）进行处理，这样可以更加高效地使用CPU。支持SQL ...
功能介绍
可视化工作台 工作台 序号 区域名称 说明 1 菜单栏 当前区域是可视应用搭建器的菜单项，主要包括可视化工作台、设计中心、可视化学院（跳转至地理小工具）、帮助和教程（入门教程、进阶教程和产品文档链接等）、返回旧版（跳转至旧版编辑器...
RDS SQL Server CPU使用率高问题排查
CPU使用率高的因素有很多，其中最常见的因素说明及解决方法如下：实例的并行度设置不合理 排查步骤 线程并行处理任务时，由于每个线程处理的数据量不一致，会出现CXPACKET等待情况，CXPACKET等待发生比较多的话，就会造成CPU使用率高。...
分区表扫描算子
PTS算子支持并行查询，并行的方式包括分区间并行和混合并行两种，均已默认开启，无需调整。分区间并行：每个工作进程查询一个分区。混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE ...
分区表扫描算子
PTS算子支持并行查询，并行的方式包括分区间并行和混合并行两种，均已默认开启，无需调整。分区间并行：每个工作进程查询一个分区。混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE ...
验证分析型查询请求能力
并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过数据分片和任务分片实现了数据和计算的并行处理。在OceanBase 中，每个节点都可以独立地...
2022年
闪回删除 2022年1月 PX多级分区表 支持多级分区的并行查询。对分区表使用跨机并行查询 2022年1月 支持GBK/GB18030编码 PolarDB PostgreSQL版 支持GBK/GB18030服务器编码格式。指定服务器编码格式 2022年1月 时空数据库（V4.4）类别 名称 ...
2022年
无 PX Analyze功能 新增polar_px_enable_explain_allstat参数，用于并行查询场景下，配合 explain analyze 命令打印出每个worker的执行情况，包括每个worker处理的tuple数量，耗时等。新增polar_px_explain_memory_verbosity参数，用于并行...
数据库
lock_manager 正等待增加或者检查用于后端的锁，或者正等待加入或者退出锁定组（并行查询使用）。predicate_lock_manager 正等待增加或者检查谓词锁信息。parallel_query_dsa 正等待并行查询动态共享内存分配锁。tbm 正等待TBM共享迭代器锁...
数据库
lock_manager 正等待增加或者检查用于后端的锁，或者正等待加入或者退出锁定组（并行查询使用）。predicate_lock_manager 正等待增加或者检查谓词锁信息。parallel_query_dsa 正等待并行查询动态共享内存分配锁。tbm 正等待TBM共享迭代器锁...
使用pg_dump和pg_restore将自建PostgreSQL数据库迁移...
这样可以确保充分利用系统资源，同时避免过多的并行任务导致资源竞争和性能下降。因为此方式未使用-single-transaction 参数进行事务封装，因此一旦恢复过程中报错，则在解决报错后，需要在RDS PostgreSQL侧清空目标数据库下的所有表，再...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版 的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.17及以上）说明 您可通过如下语句查看 PolarDB ...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.1.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
PolarDB处理TPC-H查询的挑战和机遇
and Subquery 并行和并发性（Parallelism and Concurrency）Query Plan Parallelization Workload Management Result Re-use 上图中不同颜色的方框代表不同瓶颈点对于每条查询的影响程度，越深影响越大。说明 该图片来自于 IEEE国际大数据...
实例规格概述
因此设计Shard时要充分考虑计算的过程是Shard间充分并行化，还是需要Shard间交换数据的场景。对于数据写入和更新场景，是可以Shard间并行化写入与更新，因此Shard更多，吞吐能力会更好；对于点查场景，如果每个查询都可以准确命中某个Shard...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
pg_hint_plan
下面两个示例说明在每张表上执行查询的方式不同：方式一：指定表c1的并行度为3，表c2的并行度为5。EXPLAIN/*+Parallel(c1 3 hard)Parallel(c2 5 hard)*/SELECT c2.a FROM c1 JOIN c2 ON(c1.a=c2.a);返回结果如下：QUERY PLAN-Hash Join...
pg_hint_plan
下面两个示例说明在每张表上执行查询的方式不同：方式一：指定表c1的并行度为3，表c2的并行度为5。EXPLAIN/*+Parallel(c1 3 hard)Parallel(c2 5 hard)*/SELECT c2.a FROM c1 JOIN c2 ON(c1.a=c2.a);返回结果如下：QUERY PLAN-Hash Join...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
Notebook
如果是SQL，是可以并行执行的；如果是Scala代码，是串行执行的，因为默认所有Note共享一个SparkContext。相关配置：参数 默认取值 zeppelin.spark.concurrentSQL true zeppelin.spark.currentSQL.max 10 Q：如何使Note之间相互独立？设置 ...
设计资产概述
设计资产在可视化应用搭建的场景下对于提升视觉效果十分重要，设计资产管理的功能可以帮助用户更好地管理自己的设计资产，实现资产的分类、复用和分享，并提升可视化应用设计的效率与效果。本文介绍设计资产的概念及使用功能。概念说明 ...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
日志位点监控
说明 该参数值设置的是默认启动的并行刷脏进程的数据，PolarDB 会根据主备延迟情况，动态启停一些并行刷脏进程，可能存在的并行刷脏进程为min(2*polar_parallel_bgwriter_workers,16)。polar_parallel_bgwriter_delay：并行刷脏进程每轮刷...
定制执行计划（pg_hint_plan）
是所需的并行工作程序数量，0表示禁止并行执行。第三个参数如果是soft（默认），表示仅更改max_parallel_workers_per_gather并将其他所有内容留给计划器选择；如果是hard，表示所有相关参数都会被强制指定。设置临时GUC参数 Set(GUC-param ...
- 产品推荐
- 这些文档可能帮助您