使用跨机并行查询加速索引创建
跨机并行查询功能还可以用于加速构建B-tree索引，同时支持加速创建B-Tree索引的GLOBAL索引。...跨机并行查询功能支持加速创建B-Tree索引的GLOBAL索引，如下是GLOBAL索引使用跨机并行查询功能前后的性能对比图（130GB数据量）。
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
使用跨机并行查询加速索引创建
跨机并行查询功能还可以用于加速构建B-tree索引，同时支持加速创建B-Tree索引的GLOBAL索引。...跨机并行查询功能支持加速创建B-Tree索引的GLOBAL索引，如下是GLOBAL索引使用跨机并行查询功能前后的性能对比图（130GB数据量）。
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
并行查询
PolarDB PostgreSQL版 支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询，和普通...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
OSS/OSS-HDFS的性能优化最佳实践
并按照数据量和请求QPS来拆分分区）每秒至少3500个PUT、COPY、POST或DELETE请求和5500个GET或HEAD请求，而存储空间中的前缀数量是没有限制的，因此您可以通过并行读取来提高读取或写入性能。也就是说，如果您的请求的文件前缀设计合理，在...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
创建物化视图的跨机并行加速和批量写入
当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，利用多个计算节点的I/O带宽和计算资源并行执行视图定义中的查询，提升计算资源和带宽的利用率。批量写入：不再将扫描到的每一个...
创建表并导入数据
完成集群、租户和数据库的创建后，我们将带领您登录数据库，并创建一个名为 order 的表，并使用 Hash 分区将表分为 16 个分区。背景信息 表信息大概如下：概念介绍 OceanBase 数据库可以把普通的表的数据按照一定的规则划分到不同的区块内...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
创建物化视图的跨机并行加速和批量写入
当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，利用多个计算节点的I/O带宽和计算资源并行执行视图定义中的查询，提升计算资源和带宽的利用率。批量写入：不再将扫描到的每一个...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
热点行优化
具体方案如下：串行处理变流水线处理 为了提升数据库系统的性能，最直接的方法是使用并行处理，但是对同一热点行的更新操作很难做到完全并行，PolarDB 创新性地使用了流水线处理方式，最大限度地将热点行更新操作并行化。热点行更新操作所...
计划内事件常见问题
Q：集群或读写分离架构实例中，数据分片或代理节点是并行切换吗？A：切换情况如下。数据分片：并行执行切换。代理节点：并行执行切换，最多并发切换该Redis实例中一半数量的代理节点。Q：切换失败后系统将如何处理？A：系统会在执行切换时...
计划内事件常见问题
Q：集群或读写分离架构实例中，数据分片或代理节点是并行切换吗？A：切换情况如下。数据分片：并行执行切换。代理节点：并行执行切换，最多并发切换该Redis实例中一半数量的代理节点。Q：切换失败后系统将如何处理？A：系统会在执行切换时...
多级分区表静态裁剪与并行扫描
如果满足条件的分区表数量较多，或者分区表中数据较多，则可以结合的ePQ能力，并行扫描对应的数据页面。在共享存储的架构下，读写节点和只读节点对所有表数据都是可见的，因此可以在多个只读节点中启动PX Worker并行扫描，最后将结果汇总到...
跨实例查询
为解决上述问题，阿里云团队基于 AnalyticDB PostgreSQL版 的MPP架构，设计并实现了基于计算节点互联互通的FDW，充分利用计算节点的性能优势，实现数据在实例之间并行访问，提高数据访问效率的效果。性能相较于原生PostgreSQL的postgres_...
RDS外部表
当您需要向RDS外部表写入大量数据时，采用并行多进程写入方式，会小概率出现某个写入进程数据重写情况，导致数据重复。MaxCompute里建的RDS外部表，其中DECIMAL数据类型默认小数18位，不能修改，只能建成 decimal(38,18)。如果小数位数比较...
基本介绍
通过并行循环（foreach）步骤来并行处理数组数据。流程包含以下属性：version（必需）：流程版本，仅支持 v1。type（必需）：flow表示是流程类型。steps（必需）：定义了流程的多个串行步骤。一个步骤执行完成后，如果成功，则会执行下一个...
PyODPS节点实现避免将数据下载到本地
但是这种操作非常低效，数据下载到本地进行处理，无法使用MaxCompute的大规模并行能力。当数据量大于10 MB时，不建议进行本地数据处理。常见的将数据下载到本地的操作如下：Head、Tail和To_pandas方法的调用。通常，可以调用 head、tail ...
Spark Shell和RDD基础操作
RDD基础操作 Spark围绕着弹性分布式数据集（RDD）的概念展开，RDD是可以并行操作的元素的容错集合。Spark支持通过集合来创建RDD和通过外部数据集构建RDD两种方式来创建RDD。例如，共享文件系统、HDFS、HBase或任何提供Hadoop InputFormat的...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 提交并发布节点任务。单击工具栏中的 ...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 提交并发布节点任务。单击工具栏中的 ...
2023年
支持并行构建针对文本数据和向量数据的向量索引。融合查询功能增强，支持半结构化数据索引加速，支持通过向量检索和全文检索进行双路召回。向量数据库概述 优化器 ORCA优化器支持Dynamic Join Filter。优化器支持in-list转换Semi Join功能...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
并行查询使用限制和兼容性问题
本文为您介绍并行查询的使用限制以及与串行执行结果可能...加了行锁的数据记录数增多 当并行执行 SELECT.FROM.FOR SHARE 语句时，InnoDB会将访问到的每一行数据都加锁，因此加了行锁的记录数可能会比非并行执行的情况下要多，这属于正常现象。
数据写入方式概述
云原生数据仓库AnalyticDB PostgreSQL版 提供多种数据写入和加载方式，包括INSERT语句、COPY命令、OSS外表的并行写入和使用Client SDK写入四种方式。其中INSERT语句和COPY命令的写入数据均通过Master节点，INSERT语句每秒支持3 MB的数据...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
并行资源控制策略配置
系统资源使用限制 AUTO策略下，PolarDB 会根据数据库的CPU、内存或IOPS资源的使用率来决定是否禁止并行查询计划，并支持在需要并行执行的前提下，自定义并行查询的并行度选择策略。参数 级别 取值 说明 loose_auto_dop_cpu_pct_hwm Global ...
并行查询配置参数说明
parallel_degree_policy Global 设置单个查询的并行度配置策略，取值范围如下：TYPICAL：PolarDB 选择查询并行度时不会考虑数据库负载（如CPU使用率等），而尽可能与 max_parallel_degree 设置的并行度保持一致。AUTO：PolarDB 会根据数据...
并行DDL
当数据库硬件资源空闲时，您可以通过并行DDL功能加速DDL执行，避免阻塞后续相关的DML操作，缩短执行DDL操作的窗口期。前提条件 创建二级索引时，PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.1.7及...
Semi-Join的并行加速
下文展示了在标准TPC-H中，SCALE为100 GB的数据量热数据场景下，开启并行后多阶段的并行处理能力。说明 本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准测试的所有要求。...
典型场景
数据湖分析 云原生数据仓库AnalyticDB PostgreSQL版 可以通过外部表机制，高并行直接访问海量云存储OSS上的数据，构筑阿里云统一数据湖分析平台。产品功能优势 针对主要的OLAP业务，云原生数据仓库AnalyticDB PostgreSQL版 具备以下优势。...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发，面向保险等行业及各级政府提供技术服务，数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...
- 产品推荐
- 这些文档可能帮助您