弹性并行查询（Elastic Parallel Query）常见问题
并行加速效果不明显的原因有如下几种：通过 explain/*+FORCE_SLAVE()*/SELECT.查看执行计划，判断SQL是否完成了执行计划，查看是否使用了并行查询，在explain中如看到 Parallel scan 字段，则表明使用了并行查询。并行查询的基本原理是将...
热点行优化
这样的流水线式的处理方式能够充分利用硬件资源，提升CPU的使用率，提高数据库系统的并行处理能力，从而最大限度地提升数据库系统的吞吐量。消除申请行锁时的等待 为了保证数据的逻辑一致性，对一个数据行进行更新时，首先会对该数据行加锁...
强弱依赖治理概述
强弱依赖治理的应用 强弱依赖治理主要可以被应用到以下场景：系统改造验收：对于分布式系统，至少在运行态中，不会因为依赖的系统后台出现故障，引起当前应用出现系统级可用性的故障，例如进程挂掉、频繁FullGC、负载飙高等，何时何地都应...
并行INSERT
本文介绍了的并行INSERT功能。简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO...
并行INSERT
本文介绍了 PolarDB PostgreSQL版 的并行INSERT功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.12.0及以上）说明 您可通过如下语句查看 PolarDB ...
入门概述
文件存储CPFS概述 文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展的并行文件系统，满足高性能计算场景的需求。文件存储CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS...
应用场景
高速稳定的并行转码系统，转码任务规模无缝扩展。视频内容再造 利用视频AI和超分技术、媒体处理技术，实现低画质素材高清重生内容再造。泛娱乐视频 媒体处理为泛娱乐门户提供完整的视频服务，帮助您快速搭建一个功能齐备的泛娱乐视频发布...
将本地表并行导出至OSS引擎
将本地表并行导出至OSS引擎可以极大地提升数据导出效率。本文介绍了将本地表并行导出至OSS引擎的相关内容。使用限制 PolarDB MySQL版 集群的产品版本需为 企业版，集群版本需为8.0.1版本且修订版本为8.0.1.1.38及以上。仅支持并行导出单表...
羲和分析计算引擎
相对于同步执行，尽管增加了查询执行实现的复杂度，但是通过用户态的并行管理能力，提高了系统CPU的并行执行的效率。这是羲和分析计算引擎极致性能的基础能力。向量化执行模型 基于全异步的执行引擎之上，羲和采用了向量化的查询执行模型。...
音视频转码
强大的转码能力 高速稳定的并行转码系统，按需动态调整转码资源，自动扩容/缩容，应对高并发转码需求无缝扩展集群资源。专业的转码算法 强大的计算资源，先进的视频处理算法，业界独有的画质重生技术，将现存普通或受损的影视内容重制为超...
其他问题
Linux操作系统挂载SMB文件系统失败可能存在多种原因，请参照挂载失败的排查方法与解决方案排查Linux挂载SMB文件系统错误的原因及根据解决方案修复问题。具体操作，请参见 Linux挂载SMB文件系统失败排查。本地电脑或非阿里云主机如何挂载...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。...在一些情况中，可以（甚至效率更高）把对表的扫描包括在查询的并行部分并且延迟对 WHERE 子句的计算，这样它会出现在 Gather 节点之上。不过，规划器不会这样做。
常见问题
文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
PolarDB并行查询
串行优化流程中做针对并行执行的补强，例如修正table扫描方式等，这也是上面性能数据中Q6/Q12会有超线性加速比的原因。全算子统计信息推导+代价计算，补充了一系列的cost formula和cardinality estimation推导机制。自适应执行策略 在早期...
PolarDB MySQL版8.0.1版本发布日志
即开启弹性并行查询功能后，当系统的 loose_csv_max_oss_threads 参数值大于1时，直接进行并行查询。优化OSS外表文件格式错误的报错信息内容。支持在 ALTER TABLE PARTITION BY RANGE 语法中增加 without validation 的选项，将普通表快速...
PolarDB HTAP实时数据分析技术解密
PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel Query)，在查询数据量到达一定阈值时，会自动启动并行执行。在存储层将数据分片至不同的线程，多个线程并行计算。并将结果流水线汇总到总线程。最后，总线程做些简单...
列存索引技术架构介绍
MySQL架构在AP场景的缺陷 MySQL架构在执行复杂查询时性能差有多个方面的原因。对比专用的OLAP系统，其性能瓶颈体现在以下方面：MySQL的SQL执行引擎基于流式迭代器模型（Volcano Iterator）实现。该架构在工程实现上依赖大量深层次的嵌套...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
PolarDB MySQL版8.0.2版本发布日志
修复在B-tree较高或B-tree数据倾斜的大表上执行并行查询操作时，可能存在的并行分片数目过少，或并发worker数据不均衡的问题。8.0.2.2.22 类别 说明 发布时间 新增功能和性能优化 支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、...
基础管理FAQ
本文介绍创建或删除NAS文件系统、添加或删除挂载点等的常见问题。每个账号可以创建多少个文件系统、文件系统有什么限制？每个账号在单个地域内最多支持创建20个通用型NAS文件系统和200个极速型NAS文件系统。单个文件系统容量上限：通用容量...
评论管理
机器过滤数：系统通过敏感词质检自动过滤掉的评论数量。运营删除数：指运营人员手动删除的评论数量。查询评论 可通过指定内容标题、内容 ID、评论时间范围，或者筛选内容类型、评论状态来查找评论。其中，评论状态包括正常、运营删除、机器...
ECS实例使用的Windows系统激活失败如何解决？
本文主要介绍ECS实例使用的Windows系统激活失败的原因以及解决方案。可能原因 Windows系统ECS实例默认配置激活脚本，正常情况下，实例能够与KMS服务器通讯来激活系统。但是可能因为以下原因导致激活失败：Software Protection异常导致激活...
并行查询性能
本文档基于TPC-H测试 PolarDB MySQL版 8.0.1和8.0.2版本 集群版 的OLAP负载性能，您可以按照本文介绍自行测试对比，快速了解数据库系统的性能。并行查询简介 PolarDB MySQL版 8.0版本 集群版 推出并行查询（Parallel Query）框架。当您的...
如何将一棵LSM-Tree塞进NVM
此方案存在以下两个问题：日志仅能顺序写入，不利于发挥多核系统的并行写的能力。日志项中存在不同生命周期的数据，导致日志项的回收较为困难。如下图所示，log1中的数据写入3个LSM-tree实例中，而其中不同的LSM-tree实例中memtable刷盘的...
PolarDB处理TPC-H查询的挑战和机遇
不过大体来看，TP（事务）型的系统更偏向于编译执行，因为行存的格式应用向量化或批量计算一般无法产生显著效果（cache locality不好），但TP workload经常具有高度类似性的查询，使得高昂的compilation成本可以被均摊掉。而AP（分析）型...
PolarDB PostgreSQL版架构介绍
未来页面的解法 未来页面 的原因是主节点刷脏的速度超过了任一只读节点的回放速度（虽然只读节点的Lazy回放已经很快了）。因此，解法就是对主节点刷脏进度时做控制：不能超过最慢的只读节点的回放位点。如下图所示：只读节点回放到T4位点。...
监控指标说明
如果某个算子的numRecordsIn值长时间未增涨，可能存在上游把数据都吞掉的情况，需要查看上游数据。条 所有内置连接器均支持。numRecordsOut 输出记录总数。如果某个算子的numRecordsOut的值长时间未增涨，说明可能是作业代码逻辑错误，导致...
PolarDB PostgreSQL版架构介绍
未来页面的解法 未来页面 的原因是主节点刷脏的速度超过了任一只读节点的回放速度（虽然只读节点的Lazy回放已经很快了）。因此，解法就是对主节点刷脏进度时做控制：不能超过最慢的只读节点的回放位点。如下图所示：只读节点回放到T4位点。...
GPU云服务器常见问题
可能原因 引起上述问题的原因可能是GPU的GSP（GPU System Processor）组件运行状态异常。目前，NVIDIA并未提供某个驱动版本来彻底解决GPU的掉卡问题，因此建议您在使用GPU卡之前先关闭GSP功能。说明 如果您想了解更多关于GSP功能的影响详情...
计算资源优化
基于云基础设施的操作系统优化 阿里云提供了Alibaba Cloud Linux操作系统镜像，是阿里云基于龙蜥社区（OpenAnolis）的龙蜥操作系统（Anolis OS）打造的操作系统发行版，在兼容RHEL/CentOS生态的同时，为云上应用程序提供安全、稳定、高性能...
周期任务补数据
说明 下游逻辑表字段只能整体选中补数据，不能只过滤掉暂停的字段。海量模式：如果列表模式无法满足您对下游节点选择的要求（例如节点数量过多，或者需要批量选择某些制定节点），您可以选择海量模式，海量模式将按照筛选条件从当前节点向...
周期任务补数据
说明 下游逻辑表字段只能整体选中补数据，不能只过滤掉暂停的字段。海量模式：如果列表模式无法满足您对下游节点选择的要求（例如节点数量过多，或者需要批量选择某些制定节点），您可以选择海量模式，海量模式将按照筛选条件从当前节点向...
CREATE INDEX
对某些数据类型指定操作符类的主要原因是，可能会有多于一种有意义的顺序。例如，我们可能想用绝对值或者实数部分对复数类型排序。我们可以通过为该数据类型定义两个操作符类来做到，并且在创建索引时选择其中合适的类。当在一个分区表上调...
2022年
闪回删除 2022年1月 PX多级分区表 支持多级分区的并行查询。对分区表使用跨机并行查询 2022年1月 支持GBK/GB18030编码 PolarDB PostgreSQL版 支持GBK/GB18030服务器编码格式。指定服务器编码格式 2022年1月 时空数据库（V4.4）类别 名称 ...
数据库
所有临时文件都会被统计，忽略创建这些临时文件（例如排序或哈希）的原因，并且忽略 log_temp_files 的设置。temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略...
数据库
所有临时文件都会被统计，忽略创建这些临时文件（例如排序或哈希）的原因，并且忽略 log_temp_files 的设置。temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略...
数据导入常见问题
but got 1.Row:2023-01-01T18:29:20Z,cpu2,59.44 报错原因 发生该错误的原因是导入命令或导入语句中指定的列分隔符与源数据中的列分隔符不一致。例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入...
Windows系统实例的宕机问题排查
当Windows操作系统的ECS实例在运行过程中出现内核panic、内存溢出OOM（Out Of Memory）、蓝屏卡死等问题或收到系统事件通知实例出现操作系统崩溃时，说明该ECS实例发生宕机，您可以通过自助诊断工具或系统事件来定位原因并解决。...
增量迁移源服务器
步骤三：暂停业务并运行增量迁移 选择合适的时间点，暂停源服务器系统业务后，放开之前过滤掉的数据目录并再次运行增量迁移。具体步骤如下：登录源服务器，暂停系统业务，并放开之前过滤掉的数据目录。在SMC控制台，手动运行增量迁移任务或...
2019年
并行任务子任务列表不能重试子任务。无 1.0.6-compatible，2019-07-02 变更类型 功能描述 相关文档 优化 兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 schedulerx-worker 两个包，只能依赖 schedulerx-...
- 产品推荐
- 这些文档可能帮助您