Impala概述
注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive命令删除，否则会导致该表不可用。优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
高可用系列
说明 当备节点出现故障不可用时，主节点会进行实时备份，主节点备份临近完成时会产生全局锁（FTWRL），导致主节点只读，一般不会超过5秒。功能全面 高可用系列实例提供完整的产品功能，包括弹性伸缩、备份恢复、性能优化、读写分离等，且...
PolarDB HTAP实时数据分析技术解密
并行查询的加入使得PolarDB突破了单核执行性能的限制，利用多核CPU的并行处理能力，PolarDB部分SQL查询耗时成指数级下降。Why We Need Column-Store 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而受限于行式存储及行式...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
配置工作流模板
在使用智能媒体服务媒资上传或处理已上传的媒资时，您可以基于工作流模板进行媒体处理。通过阅读本文，您可以了解如何配置工作流模板。操作步骤 登录 智能媒体服务控制台。在顶部左上角根据实际情况选择地域。在左侧导航栏选择 配置管理>...
PolarDB MySQL版8.0版本内核参数发布日志
取值范围如下：OFF（默认）：在读写节点不可用的时间段，只读节点也不可用。ON：在读写节点不可用的时间段，只读节点尽量可用。2023.11.07 类型 参数 级别 说明 新增 derived_table_pruning_mode Global/Session 启用剪裁派生表中冗余列...
列存索引技术架构介绍
并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而，受限于行式存储及行式执行器的效率限制，单核执行...
CreateFileSystem-创建文件系统
状态处理中不允许此操作。403 InvalidFileSystem.AlreadyExisted The specified file system already exists.指定的文件系统已存在。403 Resource.OutOfStock The inventory of the specified zone is insufficient.指定的可用区库存不足。...
CreateFileSystem-创建文件系统
状态处理中不允许此操作。403 InvalidFileSystem.AlreadyExisted The specified file system already exists.指定的文件系统已存在。403 Resource.OutOfStock The inventory of the specified zone is insufficient.指定的可用区库存不足。...
OOM常见问题排查指南
UnionALL 如下所示，当SQL中含有大量 union all subquery 时，执行器会并行处理每个 subquery，导致内存压力变大，从而出现OOM。subquery1 union all subquery2 union all subquery3.可以通过如下参数强制执行器串行，减少OOM情况，但查询...
PolarDB处理TPC-H查询的挑战和机遇
上图给出了前两项优化后对社区版本在TPC-H SF10上一些查询的性能对比，由于社区不支持并行处理，就没再比较parallel hash join的提升了。Sparse Foreign Key Joins 在TPC-H中，大量的join都是主外键join，而且在主表上，对主键都有一定的...
新功能发布记录
本文列举了文件存储CPFS产品功能发布的时间、...2019-08-09 部分 什么是文件存储CPFS 文件存储CPFS（公测）CPFS并行文件系统，提供高可用、高可靠、高可扩展、高性能的能力，适用各种高性能计算HPC场景。2018-01-09 部分 什么是文件存储CPFS
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
CREATE INDEX
如果在扫描表示出现问题，例如死锁或者唯一索引中的唯一性被违背，CREATE INDEX 将会失败，但留下一个“不可用”的索引。这个索引会被查询所忽略，因为它可能不完整。不过它仍将消耗更新开销。psql的 \d 命令将把这类索引报告为 INVALID：...
pg_hint_plan
Hash(cost=1.01.1.01 rows=1 width=100)->Seq Scan on pgbench_branches b(cost=0.00.1.01 rows=1 width=100)(7 rows)提示表 虽然可以使用注释提示的方式对SQL语句进行提示，但是当SQL语句无法编辑时，该提示方式便不可用。对于这种情况，...
pg_hint_plan
Hash(cost=1.01.1.01 rows=1 width=100)->Seq Scan on pgbench_branches b(cost=0.00.1.01 rows=1 width=100)(7 rows)提示表 虽然可以使用注释提示的方式对SQL语句进行提示，但是当SQL语句无法编辑时，该提示方式便不可用。对于这种情况，...
创建任务工作负载Job
所需资源 为该应用预留资源额度，包括CPU、内存和Ephemeral-Storage三种资源，即容器独占这些资源，防止因资源不足而被其他服务或进程争夺资源，导致应用不可用。关于设置所需资源的更多信息，请参见 资源画像。容器启动项 stdin：表示为该...
控制台发布记录
下载备份文件 从备份文件恢复到自建MySQL数据库 列存索引多机并行执行 列存索引多机并行是由多个只读列存节点组成的一个多机执行组，并提供多机并行执行能力。适用于以下场景：通过多机并行的资源弹升能力扩展CPU和IOPS，降低查询时延。...
CreateDBClusterEndpoint-创建自定义集群地址
但当此节点故障时，该地址可能会有最多 1 小时的不可用，请勿用于生产环境。因此，推荐至少选择 2 个节点，以提升可用性。ReadWriteMode 取值为 ReadWrite 时，至少要选择 2 个节点。PolarDB MySQL 版支持选择任意两个节点。当两个节点都是...
计划内事件常见问题
为提供更优质的体验，持续提升产品性能和稳定性，阿里云会不定期地发起迁移任务，系统会将您的某些实例迁移至新的服务器节点以完成软硬件和网络的换代升级。本文列举实例迁移过程中的常见问题供您参考。实例迁移事件的影响 时间点 说明 ...
为什么已使用的Dataphin数据处理单元会超过已购买的...
超过系统剩余可用上限1 再次发布任务C，预检不通过，提示无剩余可用数据处理单元 提示：为了保证开发使用体验，Dataphin会优先保证所有数据处理单元都可使用。如果发布完成后发现已经超过了购买的可用数据处理单元，建议尽快联系管理员进行...
计划内事件常见问题
为提供更优质的体验，持续提升产品性能和稳定性，阿里云会不定期地发起迁移任务，系统会将您的某些实例迁移至新的服务器节点以完成软硬件和网络的换代升级。本文列举实例迁移过程中的常见问题供您参考。实例迁移事件的影响 时间点 说明 ...
存储过程
max worker threads 指定并行执行查询和处理请求的工作线程的最大数量。EXEC sp_rds_configure 'max worker threads',100;cost threshold for parallelism 指定并行的开销阈值。EXEC sp_rds_configure 'cost threshold for parallelism',30...
技术原理
反过来，当计划的并行部分产生大量的元组时，领导者将几乎全用来读取由工作者产生的元组并且执行 Gather 或 Gather Merge 节点上层计划节点所要求的任何进一步处理。在这些情况下，领导者所作的执行并行部分的工作将会很少。当计划的并行...
PolarDB并行查询
并行执行器 PQ实现了一系列算子内并行的机制，如对表的逻辑分区和并行扫描，Parallel Hash join等，来使并行执行成为可能或进一步提升性能，还有多样化的子查询处理机制等。Parallel Scan PolarDB 是共享存储的，所有数据对所有节点均可见...
CPFS并行文件存储
高可用、高可靠性 Rolling Update功能：提供滚动式升级，升级过程中服务不间断。秒级故障检测功能：可快速检测坏盘和宕机的服务节点。支持多种数据保障模式：多副本模式：2副本、3副本 纠删码模式：（4+2p）、（4+3p）、（8+2p）、（8+3p）...
创建MySQL只读实例
您可以通过创建只读实例满足大量的数据库...A：主实例为内核版本不低于20210430的云盘版实例可以选择主备可用区，主实例为本地盘版实例及其他情况不支持选择主备可用区。相关API API 描述 创建只读实例 创建RDS只读实例 操作视频 创建只读实例
恢复全量数据
实例版本：不同的实例版本并行复制的策略不同，不支持并行复制的场景都将以单线程模式进行，影响恢复速度。重要 除上述影响恢复速度的因素以外，还有部分因素可能导致恢复无法正常进行，例如：新实例版本小于源实例，Binlog有不能正常解析...
日志位点监控
本文介绍了日志位点的监控信息和延迟情况，以及延迟的处理方法。PolarDB 中存在以下几个比较重要的WAL日志位点：主节点当前日志写入位点，可以通过 pg_current_wal_insert_lsn()函数查询。所有备节点中最小的日志回放位点，可以通过 polar_...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
WAL日志并行回放
鉴于WAL日志回放在 PolarDB 集群的高可用中起到至关重要的作用，将并行回放WAL日志的方法用到常规的日志回放路径上，是一种很好的优化思路。并行回放WAL日志至少可以在以下三个场景下发挥优势：主库节点、只读节点以及备库节点崩溃恢复...
WAL日志并行回放
鉴于WAL日志回放在 PolarDB 集群的高可用中起到至关重要的作用，将并行回放WAL日志的方法用到常规的日志回放路径上，是一种很好的优化思路。并行回放WAL日志至少可以在以下三个场景下发挥优势：主库节点、只读节点以及备库节点崩溃恢复...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
如何选择实例规格
PolarDB-X 1.0 计算资源实例与 PolarDB-X 1.0 存储资源实例按照CPU的处理能力、内存容量和磁盘空间等来划分实例的规格，并提供多种不同规格的实例供选择，规格越高代表实例的处理能力越强。本文介绍如何选择实例规格。PolarDB-X 1.0 计算...
填充数据库
载入数百万行会导致触发器事件队列溢出可用内存，造成不能接受的交换或者甚至是命令的彻底失败。因此在载入大量数据时，可能 需要（而不仅仅是期望）删除并重新应用外键。如果临时移除约束不可接受，那唯一的其他办法可能是就是将载入操作...
资源组
表示资源组最大可用的共享资源，不设置则最大可使用所有资源，多个资源组的Limit资源相加可以大于整体资源。Request：最小资源保证。表示资源组最小的保证资源，任何时刻系统都必须满足这个资源需求，多个资源组的Request资源相加要小于...
- 产品推荐
- 这些文档可能帮助您