并行查询使用限制和兼容性问题
与串行执行结果可能不兼容的地方 错误提示次数可能会变化 串行执行中出现错误提示的查询，在并行执行的情况下，总体错误提示数可能会与串行有所不同。精度问题 并行查询的执行过程中，可能会出现比串行执行多出中间结果的存储，如果中间...
PolarDB并行查询
串行优化与并行优化解耦，并行优化会重新构建抽象算子树，并以此为输入开始 enumeration。并行优化与并行计划生成解耦，优化的结果是计划子片段的抽象描述，作为输出进行 plan generation。这样就使执行策略的灵活性成为可能，允许在资源...
系统信息函数和运算符
当使用并行查询时结果总是列出客户端可见的进程ID（即 pg_backend_pid 的结果），即使实际的锁是由子工作进程持有或等待的。因此，结果中可能存在重复的pid。还要注意当准备好的事务持有冲突锁时，它将用零进程ID表示。频繁调用这个函数...
配置蓝图交互
本文为您介绍在DataV快乐转转转模板...将 转盘抽奖 节点中的 当点击抽奖时 事件与 串行数据处理 的左侧点相连，再将 串行数据处理 右侧点与 组 节点中的 显示 动作连线。实现当单击转盘完成一轮抽奖后，在大屏上显示烟花样式的图片的效果。
配置蓝图交互
本文为您介绍在DataV快乐转转转模板...将 转盘抽奖 节点中的 当点击抽奖时 事件与 串行数据处理 的左侧点相连，再将 串行数据处理 右侧点与 组 节点中的 显示 动作连线。实现当单击转盘完成一轮抽奖后，在大屏上显示烟花样式的图片的效果。
蓝图编辑器常见案例教学
将需要配置交互的组件导入到蓝图编辑器，将翻牌器中 当数据接口请求完成时 与串行数据处理节点中的 更新翻牌器配置 相连，并在串行节点中写入处理方法。说明 翻牌器在请求完成后，判断数据中的 value 值，如果大于60则更新数字颜色为红色，...
并行安全性
并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather 或者 Gather Merge 节点之下，但是能够出现在包含这类节点的计划的其他...
概览
V2.0.14.6.0 计算节点范围选择与并行度控制 V2.0.14.6.0 ePQ Hint Injection V2.0.14.8.0 ePQ支持分区表查询 V2.0.14.11.0 自适应扫描 ❌ 并行INSERT V2.0.14.12.0 创建物化视图的跨机并行加速和批量写入 V2.0.14.6.0 ePQ支持并行写入及...
验证分析型查询请求能力
更多内容参见 与并行执行相关的 Hint。通过 Hint 可以使优化器生成指定的执行计划。更多内容参见 Hint 概述。PARALLEL Hint 的语法如下：/*+PARALLEL(n)*/PARALLE Hint 中参数 n 的值用来指定并行度。如果同时进行了排序或分组操作，那么...
概览
V1.1.17 V14.5.1.0 Failover Slot V1.1.27 ❌ 安全可靠 TDE透明数据加密 V1.1.1 V14.5.1.1 弹性跨机并行查询（ePQ）ePQ支持查看与分析执行计划 V1.1.22 V14.6.6.0 计算节点范围选择与并行度控制 V1.1.20 V14.6.6.0 ePQ Hint Injection V1.1...
多级分区表静态裁剪与并行扫描
本文介绍了的多级分区表静态裁剪与并行扫描功能。背景信息 随着数据量的不断增长，表的规模将会越来越大。为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又进一步可以拆成二级子分区表，从而...
配置Ververica Flink离线模式资源
Task Manager数量 默认与并行度一致，可填任意大于0的整数。Job Manager Memory 该任务在Flink集群的控制单元中所占用的内存资源大小。默认为1Gi，建议使用Gi/Mi/单位；可填数字（单位Byte），或填入包含以下内存单位（Gi/Mi）的数字。Task...
配置Ververica Flink离线模式资源
Task Manager数量 默认与并行度一致，可填任意大于0的整数。Job Manager Memory 该任务在Flink集群的控制单元中所占用的内存资源大小。默认为1Gi，建议使用Gi/Mi/单位；可填数字（单位Byte），或填入包含以下内存单位（Gi/Mi）的数字。Task...
OSS/OSS-HDFS的性能优化最佳实践
调整并发与并行的参数 您可以通过修改 fs.oss.download.thread.concurrency 和 fs.oss.upload.thread.concurrency 调整单个进程内上传和下载的并发数。如果您在运行MapReduce或Spark任务，还有以下选择：对于提交MapReduce任务，可以通过...
使用EXPLAIN查看并行计划
本文介绍如何使用EXPLAIN语句查看执行计划输出中与并行查询相关的内容。查询用表 本文示例中使用 pq_test 表进行并行查询测试。表结构如下：SHOW CREATE TABLE pq_test\G*1.row*Table:pq_test Create Table:CREATE TABLE `pq_test`(`id` ...
DDL物理复制优化
测试二：测试当物理复制DDL优化功能与 并行DDL 配合使用时，在包含10亿数据量的表中执行 add secondary Index 操作所需的时间。测试三：测试当物理复制DDL优化功能开启或关闭时，集群（包含10亿数据量的表）中主节点的并发执行DDL操作数量...
JMeter多个线程组的使用说明
当JMeter测试计划中存在多个线程组，您需要了解如何结合JMeter和PTS配置参数，使多个线程组并行或串行压测。前提条件 创建JMeter压测场景。具体操作，请参见 创建JMeter场景。背景信息 JMeter线程组包括setUp线程组、tearDown线程组和主线...
JMeter多个线程组的使用说明
当JMeter测试计划中存在多个线程组，您需要了解如何结合JMeter和PTS配置参数，使多个线程组并行或串行压测。前提条件 创建JMeter压测场景。具体操作，请参见 创建JMeter场景。背景信息 JMeter线程组包括setUp线程组、tearDown线程组和主线...
工作流管理
工作流满足对音视频文件的多任务（媒体转码、智能媒资审核、智能媒资标签、智能媒资查重、视频截图和视频动图）处理场景，可并行或串行配置，均针对原片进行处理。本文为您介绍配置工作流的操作步骤。操作视频 操作步骤 登录 视频点播控制...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
查询流程和执行计划
AnalyticDB MySQL版 会根据算子所表达的语义或算子间的依赖关系，决定使用并行还是串行执行来处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对算子级别进行结果诊断。更多详情，请参见 算子级别诊断结果。上图是一个典型分组聚合查询...
并行资源控制策略配置
当优化器估算查询的串行执行代价大于或等于该值时，查询并行度将尽可能与 max_parallel_degree 设置的并行度保持一致。说明 该参数仅用于在 PolarDB 确定需要并行执行后，选择查询的并行度，而不用于选择是否需要并行执行。
技术架构
PolarDB PostgreSQL版（兼容Oracle）的计算节点，主要实现了SQL解析和优化、以及查询并行执行与无锁高性能事务处理，计算节点之间通过高吞吐的物理复制协议同步内存状态。数据库节点最多可以扩容到16个，其中1个读写节点，其他均为只读节点...
CREATE FUNCTION.AGGREGATE USING type_name
原理介绍（并行聚合）用户定义聚合的并行评估 与内置聚合函数一样，用户定义的聚合可以并行计算。但是，聚合函数必须声明为启用并行。创建函数 MyUDAG(.)返回.PARALLEL_ENABLE 聚合使用MyAggrRoutines。通过聚合并行从属中的行子集生成的...
快速开始
阶段之间可以是串行也可以是并行的；任务：在阶段中具体需要完成的动作，目前任务主要包含两类，一类是与工作区相关的（AgentJob）以及与工作区无关的（Agentless Job），工作区相关任务会在固定的工作目录中执行用户定义的任务。而工作区...
功能特性
在发布准备时，您可以配置应用依赖信息，自动实现串行和并行发布策略。在发布过程中，确保前置、发布、后置任务事件完整记录，方便追踪发布历程。核心部署对象：CafeDeployment 对 K8s 原生发布能力以 CRD 形式作了扩展，以云原生的方式为...
隔离等级
只要有一个串行序列一次执行一项操作，且生成与表中所示相同的结果，则可执行这些操作。对于写操作，串行序列与表历史记录中的序列完全相同。WriteSerializable（默认）：隔离级别比Serializable低。它仅确保写入操作（而非读取）是可序列...
新建补数据任务
业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期顺序运行，不同组之间的实例并行运行。例如，业务日期是1月11日~1月13日，并发运行组数为2，11号和12号为一组，13号为一组，11号和13号的实例同时开始...
新建补数据任务
业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期顺序运行，不同组之间的实例并行运行。例如，业务日期是1月11日~1月13日，并发运行组数为2，11号和12号为一组，13号为一组，11号和13号的实例同时开始...
周期任务补数据
业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期顺序运行，不同组之间的实例并行运行。例如，业务日期是1月11日~1月13日，并发运行组数为2，11号和12号为一组，13号为一组，11号和13号的实例同时开始...
周期任务补数据
业务日期的跨度时间大于并发运行组数，则可能兼有串行和并行。相同组内的实例按业务日期顺序运行，不同组之间的实例并行运行。例如，业务日期是1月11日~1月13日，并发运行组数为2，11号和12号为一组，13号为一组，11号和13号的实例同时开始...
启动加速-模块并行启动
C，以及模块 B、C 与模块 D、E、F 之间的启动顺序，这几个模块之间可以串行启动，也可以并行启动。模块并行开启和关闭 模块并行功能的开启和关闭方式的说明如下：SOFABoot 默认会并行启动模块。在使用过程中，如果您希望关闭并行启动，可以...
列存索引内存管理介绍
虚拟内存与并发执行 对各类查询进行测试后，您会发现在整个查询过程中资源的使用不均匀，始终存在串行点与scale不好的问题。系统在不落盘、不kill（因内存不足）的情况下，需要尽可能地提高查询之间的并发执行能力。如下：当每个查询使用的...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
并行循环步骤
介绍 并行循环（Foreach）步骤遍历输入中的某个数组类型参数，对于数组中的每个元素并行执行其串行步骤。并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环步骤的每次迭代执行都对应一个本地变量。执行...
湖仓版作业调度
是否补数 开启 是否补数 时，执行指定日期的工作流，在选择的调度时间范围内，每天的0点补数一次，执行方式支持并行和串行。串行补数：指定时间范围内，按日期依次执行补数，最终只生成一条流程实例。并行补数：指定时间范围内，多天同时...
CREATE INDEX
此外，B 树重复数据删除永远不会与具有非关键列的索引一起使用。INCLUDE 子句中列出的列不需要合适的操作符类，甚至数据类型没有为给定的访问方法定义操作符类的列都可以包括在这个子句中。不支持把表达式作为被包括列，因为它们不能被用在...
性能测试工具-图形工具
该测试套件同一时间只能运行一个测试集，测试集内部测试任务串行执行。请确保没有并行执行其他测试任务。该测试套件使用"ahbenchtest-read"与"ahbenchtest-write"两个表作为测试用表。测试过程中可能会删除再创建这两张表。请确保这两张表...
Notebook
本文将解答与Notebook相关的问题。Q：Notebook里执行任务，不同用户之间是串行的么？如果是SQL，是可以并行执行的；如果是Scala代码，是串行执行的，因为默认所有Note共享一个SparkContext。相关配置：参数 默认取值 zeppelin.spark....
JVM参数配置说明
Xmx3800m-Xms3800m-Xmn2g-Xss128k-XX:+UseParallelGC-XX:ParallelGCThreads=20，-XX:+UseParallelGC 此配置仅对年轻代有效，即在示例配置下，年轻代使用并发收集，而年老代仍旧使用串行收集。XX:ParallelGCThreads 配置并行收集器的线程数...
- 产品推荐
- 这些文档可能帮助您