PolarDB MySQL版8.0.1版本发布日志
此时，查询结果中会返回不能使用列存引擎的原因。支持在Grouping字句中使用关联子查询，以及消除复杂关联子查询。多主集群的全局Binlog支持GTID（全局事务标识符）。优化Buffer Pool扩容功能，如自动取消前序缩容、及时扩容等。优化列存...
并行INSERT
本文介绍了的并行INSERT功能。简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO...
并行INSERT
本文介绍了 PolarDB PostgreSQL版 的并行INSERT功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.12.0及以上）说明 您可通过如下语句查看 PolarDB ...
金融云下FTP无法使用被动模式传输数据的原因
本文将为您介绍金融云下FTP无法使用被动模式传输数据的原因及解决方法。问题现象 金融云认证下，使用FTP客户端无法连接配置好的FTP服务器，即使拨上了VPN后还是无法连接。问题原因 金融云下VPN连接有端口限制，默认是拒绝所有端口的连入，...
将本地表并行导出至OSS引擎
将本地表并行导出至OSS引擎可以极大地提升数据导出效率。本文介绍了将本地表并行导出至OSS引擎的相关内容。使用限制 PolarDB MySQL版 集群的产品版本需为 企业版，集群版本需为8.0.1版本且修订版本为8.0.1.1.38及以上。仅支持并行导出单表...
弹性并行查询（Elastic Parallel Query）常见问题
并行加速效果不明显的原因有如下几种：通过 explain/*+FORCE_SLAVE()*/SELECT.查看执行计划，判断SQL是否完成了执行计划，查看是否使用了并行查询，在explain中如看到 Parallel scan 字段，则表明使用了并行查询。并行查询的基本原理是将...
PolarDB并行查询
串行优化流程中做针对并行执行的补强，例如修正table扫描方式等，这也是上面性能数据中Q6/Q12会有超线性加速比的原因。全算子统计信息推导+代价计算，补充了一系列的cost formula和cardinality estimation推导机制。自适应执行策略 在早期...
淘宝App在短视频场景下的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
DCDN为淘宝App短视频场景加速的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
PolarDB PostgreSQL版架构介绍
未来页面的解法 未来页面 的原因是主节点刷脏的速度超过了任一只读节点的回放速度（虽然只读节点的Lazy回放已经很快了）。因此，解法就是对主节点刷脏进度时做控制：不能超过最慢的只读节点的回放位点。如下图所示：只读节点回放到T4位点。...
PolarDB PostgreSQL版架构介绍
未来页面的解法 未来页面 的原因是主节点刷脏的速度超过了任一只读节点的回放速度（虽然只读节点的Lazy回放已经很快了）。因此，解法就是对主节点刷脏进度时做控制：不能超过最慢的只读节点的回放位点。如下图所示：只读节点回放到T4位点。...
PolarDB处理TPC-H查询的挑战和机遇
在scan时尽早避免后续的CPU计算，在MPP系统中，可以在传输probe数据前，先传递bloom filter来减少数据传输。MySQL不存在上述问题，因为如果有主外键，它是一定是要nested loop join的。但值得一提的是，PolarDB 的hash join实现了基于bloom...
0028-00000004
问题原因 您发起了GetBucketTransferAcceleration请求来获取目标Bucket的传输加速配置，但是该Bucket没有配置传输加速。问题示例 比如您发起了如下请求：GET/?transferAcceleration ...
并行查询配置参数说明
parallel_degree_policy Global 设置单个查询的并行度配置策略，取值范围如下：TYPICAL：PolarDB 选择查询并行度时不会考虑数据库负载（如CPU使用率等），而尽可能与 max_parallel_degree 设置的并行度保持一致。AUTO：PolarDB 会根据数据...
技术原理
反过来，当计划的并行部分产生大量的元组时，领导者将几乎全用来读取由工作者产生的元组并且执行 Gather 或 Gather Merge 节点上层计划节点所要求的任何进一步处理。在这些情况下，领导者所作的执行并行部分的工作将会很少。当计划的并行...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
绑定自定义域名至OSS传输加速域名
如果您希望使用自定义域名实现Bucket远距离数据传输加速，例如从中国内地向非中国内地Bucket请求加速上传或下载文件，您需要将自定义域名绑定至目标Bucket，并添加CNAME记录指向传输加速域名。前提条件 已开启OSS传输加速服务。关于开启...
对分区表使用跨机并行查询
功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。支持分区表join查询。支持多级分区的并行查询 使用...
对分区表使用跨机并行查询
功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。支持分区表join查询。支持多级分区的并行查询 使用...
概述
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。使用场景 日常...
概述
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。使用场景 日常...
并行计划
因为每个工作者只执行完成计划的并行部分，所以不可能简单地产生一个普通查询计划并使用多个工作者运行它。每个工作者都会产生输出结果集的一个完全拷贝，因而查询并不会比普通查询运行得更快甚至还会产生不正确的结果。相反，计划的并行...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
并行操作
设置并行度 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。您也可以在支持...
使用场景
该查询运行在另一个已经存在的并行查询内部。例如，如果一个被并行查询调用的函数自己发出一个 SQL 查询，那么该查询将不会使用并行计划。这是当前实现的一个限制，但是或许不值得移除这个限制，因为它会导致单个查询使用大量的进程。即使...
并行操作
设置并行度 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。您也可以在支持...
并行操作
设置并行度 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。您也可以在支持...
Hash Join的并行加速
PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持，并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。简单并行Hash Join 前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version...
产品优势
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
GetBucketTransferAcceleration
GetBucketTransferAcceleration 接口用于获取目标存储空间（Bucket）的传输加速配置。注意事项 只有Bucket拥有者以及被授予 oss:GetBucketTransferAcceleration 权限的RAM用户才能发起获取传输加速配置的请求。如果Bucket未配置过传输加速...
PutBucketTransferAcceleration
PutBucketTransferAcceleration 接口用于为存储空间（Bucket）配置传输加速。开启传输加速后，可提升全球各地用户对OSS的访问速度，适用于远距离数据传输、GB或TB级大文件上传和下载的场景。注意事项 只有Bucket拥有者以及被授予 oss:...
并行资源控制策略配置
PolarDB 支持通过多种策略控制单个查询或全局的总并行度，以保证在资源负载允许的情况下选择合理的并行度。并行查询排队策略参数 max_parallel_workers 为单个节点内允许同时运行的最大并行worker线程数，超过 max_parallel_workers 后新的...
使用跨机并行查询加速索引创建
当使用跨机并行查询功能加速Btree索引构建时，系统会自动构建出一个QC进程完成对基表项的并行扫描，并由索引构建进程接收QC进程扫描结果完成后续的索引创建逻辑。注意事项 当前仅支持简单场景，对普通列类型的索引构建过程，暂不支持...
使用跨机并行查询加速索引创建
当使用跨机并行查询功能加速Btree索引构建时，系统会自动构建出一个QC进程完成对基表项的并行扫描，并由索引构建进程接收QC进程扫描结果完成后续的索引创建逻辑。注意事项 当前仅支持简单场景，对普通列类型的索引构建过程，暂不支持...
并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
CDN加速和OSS传输加速的区别
概述 本文主要介绍阿里云对象存储OSS的传输加速功能和CDN加速OSS资源的区别，以便您根据实际业务进行选择。详细信息 阿里云对象存储OSS以海量、安全、低成本、高可靠等特点已经成为用户存储静态资源和文件的首要选择，实际使用中面向全球...
- 产品推荐
- 这些文档可能帮助您