V5.4.x系列实例版本说明
修复时间类型与函数的兼容性问题，提升对时间类型数据的处理效率。修复监控中的连接数显示不正确的问题。修复ALTER TABLE语句中CONVERT TO CHARACTER SET不能同时修改GSI索引表的问题。修复部分PARSER报错信息不明确的问题。优化性能 优化...
PolarDB并行查询
两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel Hash join也有自身的问题，例如：共享Hash Table过大导致spill to disk问题，并行插入虽然无锁，但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...
概述
弹性并行查询（Elastic Parallel Query）针对云上用户实例CPU资源利用率较低、使用不均衡的特征，充分挖掘集群中多核CPU的并行处理能力，以8核32 GB（独享规格）的 PolarDB MySQL版 集群版为例，示意图如下所示：前提条件 PolarDB 集群版本...
如何基于LSM-tree架构实现一写多读
并行回放的粒度是事务，需要处理的一个关键问题就是可见性问题。事务串行回放时，Sequence版本号都是连续递增的，事务可见性不存在问题。在并行回放场景下，我们仍然需要保序，通过引入 滑动窗口 机制，只有连续一段没有空洞的Sequence才能...
弹性并行查询（Elastic Parallel Query）常见问题
本文档介绍了弹性并行查询（Elastic Parallel Query）的常见问题。PolarDB读写集群地址是否可以通过hint开启并行查询？优先推荐您在 PolarDB 控制台的 集群地址配置 页面开启并行查询。如果您希望在SQL语句级别生效，可以通过/*+PARALLEL(n...
概述
PolarDB 集群备份和恢复功能均采用多线程并行处理，并通过其他技术创新，10分钟内即可完成从备份集（快照）恢复到一个新的集群。说明 一级备份默认开启，无法关闭。一级备份保留时长最多可支持30天，如果您需要使用该功能，可以 联系我们 ...
RDS SQL Server CPU使用率高问题排查
CPU使用率高的因素有很多，其中最常见的因素说明及解决方法如下：实例的并行度设置不合理 排查步骤 线程并行处理任务时，由于每个线程处理的数据量不一致，会出现CXPACKET等待情况，CXPACKET等待发生比较多的话，就会造成CPU使用率高。...
2021年
开启时空并行查询 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多波段遥感影像转三波段图像的AI识别场景。ST_SubRaster 缺陷修复 修复栅格解析无效的直方图信息可能会导致数据库崩溃的问题。修复进行投影...
功能特性
单击在线体验 音 视 频增强 音频增强 视频云音频实验室有机结合传统信号处理与深度学习技术，提供全场景音频增强与修复方案。单击在线体验。重要 以下功能需要在 提交转码作业 时 配置相应参数 使用，音频部分按照输出的音频规格和时长，...
构建基于Serverless架构的弹性高可用音视频处理系统
工程效率诉求 需要并行处理多个视频文件。需要批量快速处理多个超大的视频。例如，每周五定时产生几百个4 GB以上1080P的大视频，需要几小时内处理完。自定义处理诉求 需要处理更高级的自定义处理需求。例如，视频转码完成后，需要将转码...
产品架构
一致性问题处理简单：计算层只需要保证同一时刻有一个计算节点写入同一分片的数据。扩展更灵活：计算和存储可以分开扩展，计算不够扩计算节点，存储不够扩存储节点。这样在大促等场景上会非常灵活。计算资源不够了，马上扩容计算就好了，不...
V5.3.x系列实例版本说明
性能优化 优化MysqlDump兼容性问题处理，支持MySQL可执行HINT。优化MysqlDump兼容性问题处理，支持MySQL单行注释“—”。修复问题 修复存在HINT时，没有正确设置ThreadLocal变量导致NPE的问题。修复特殊场景下子查询条件上拉失败，导致全表...
什么是自动驾驶开发平台
能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架，在阿里云上以云原生的方式分布式处理海量非结构化数据，采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感器输出数据，...
PolarDB PostgreSQL版架构介绍
PolarDB PostgreSQL版 是一款阿里云自主研发的企业级数据库产品，采用计算存储分离架构，兼容PostgreSQL与Oracle。PolarDB PostgreSQL版 的存储与计算能力均可横向扩展，具有高可靠、高可用、弹性扩展等企业级数据库特性。同时，PolarDB ...
PolarDB MySQL版8.0.2版本发布日志
2023-08-23 问题修复 修复用户同时打开全局一致性（高性能模式）和弹性并行查询（ePQ）功能时，可能触发 Table definition has changed 错误的问题。修复Index condition pushdown场景下，SQL语句的扫描行数统计不准确的问题。修复在全文...
内存型
图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离，通过分工明确的多个线程并行处理各阶段任务，达到提高性能的目的。IO线程：负责请求读取、响应发送、命令解析等。Worker线程：负责命令处理、定时器事件等。辅助线程：负责高...
什么是EMR Serverless StarRocks
这种设计允许多个事务并行处理，同时提供快照隔离（Snapshot Isolation）级别的事务隔离保护。StarRocks的存储引擎还特别适用于Partial Update和Upsert等操作。使用Delete-and-Insert的实现方式，通过主键索引快速过滤数据，避免读取阶段的...
PolarDB PostgreSQL版架构介绍
PolarDB PostgreSQL版（兼容Oracle）是一款阿里云自主研发的企业级数据库产品，采用计算存储分离架构，兼容PostgreSQL与Oracle。PolarDB PostgreSQL版（兼容Oracle）的存储与计算能力均可横向扩展，具有高可靠、高可用、弹性扩展等企业级...
概览
通过 SDK 开发写入程序，可简化在 AnalyticDB PostgreSQL版 中写入数据的流程，无需担心连接池、缓存等问题，与COPY/INSERT导入方式相比，Client SDK通过并行化等内部机制大大提升了性能。支持 表级迁移 通过DataWorks导入数据 数据集成...
2021年
开启时空并行查询 2021年5月 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多波段遥感影像转三波段图像的AI识别场景。ST_SubRaster 2021年5月 缺陷修复 修复栅格解析无效的直方图信息可能会导致数据库崩溃...
PolarDB HTAP实时数据分析技术解密
并行查询的加入使得PolarDB突破了单核执行性能的限制，利用多核CPU的并行处理能力，PolarDB部分SQL查询耗时成指数级下降。Why We Need Column-Store 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而受限于行式存储及行式...
VACUUM
对于并行清理，每个处理器的睡眠与该处理器完成的工作成比例。PolarDB包括了一个“autovacuum”工具，它可以自动进行例行的清理维护。示例 清理单一表 onek，为优化器分析它并且打印出详细的清理活动报告：VACUUM(VERBOSE,ANALYZE)onek;
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
PolarDB处理TPC-H查询的挑战和机遇
上图给出了前两项优化后对社区版本在TPC-H SF10上一些查询的性能对比，由于社区不支持并行处理，就没再比较parallel hash join的提升了。Sparse Foreign Key Joins 在TPC-H中，大量的join都是主外键join，而且在主表上，对主键都有一定的...
列存索引技术架构介绍
并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而，受限于行式存储及行式执行器的效率限制，单核执行...
OSS触发器概述
OSS与 函数计算 集成后，OSS事件能触发相关函数执行，实现对OSS中的数据的自定义处理。本文介绍 函数计算 支持的OSS触发器的使用限制、事件类型及触发规则。背景信息 OSS和 函数计算 通过OSS触发器实现无缝集成，您可以编写函数对OSS事件...
内存型
图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离，通过分工明确的多个线程并行处理各阶段任务，达到提高性能的目的。IO线程：负责请求读取、响应发送、命令解析等。Worker线程：负责命令处理、定时器事件等。辅助线程：负责高...
OSS触发器概述
OSS与 函数计算 集成后，OSS事件能触发相关函数执行，实现对OSS中的数据的自定义处理。本文介绍 函数计算 支持的原生OSS触发器和EventBridge类别的OSS触发器的使用限制、事件类型及触发规则。背景信息 OSS和 函数计算 通过OSS触发器实现...
历史版本常见问题
大批量KILL同时执行打满线程池导致PolarDB-X 1.0无响应 现象描述 大批量KILL请求在同一时间内并行执行，会有占满 PolarDB-X 1.0 线程池的风险,其表现为所有其它的SQL请求因线程资源耗尽而无响应。处理建议 业务侧要尽量避免短时间内大量...
OOM常见问题排查指南
UnionALL 如下所示，当SQL中含有大量 union all subquery 时，执行器会并行处理每个 subquery，导致内存压力变大，从而出现OOM。subquery1 union all subquery2 union all subquery3.可以通过如下参数强制执行器串行，减少OOM情况，但查询...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
安装CUDA
背景信息 CUDA（Compute Unified Device Architecture，统一计算设备架构）是由NVIDIA推出的通用并行计算架构，该架构利用GPU（图形处理器）的处理能力可以解决复杂的计算问题。其包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。...
X-Engine简介
例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定大小的数据页（Page）、使用ARIES算法的事务处理与数据恢复机制、基于...
Presto FAQ
本文汇总了使用DLA Presto的常见问题及解决方案。高频问题 在哪些情况下，共享集群（Public）不计费？共享集群（Public）的算力是多大？在控制台执行SELECT语句为什么会有Limit 500的限制？能够突破这个限制吗？阿里云子账号可以在哪里执行...
配置备份计划
常见问题 备份计划显示异常了，如何处理？备份计划状态显示异常，表示该DBS备份计划下至少存在一个异常任务，通常可能是全量备份任务异常或增量备份任务异常，也可能是其他类型任务出现异常。修复方法，请参见 如何修复异常DBS备份计划。若...
自适应扫描
QC进程在发起并行查询任务时，会启动自适应扫描线程，用于接收并处理来自PX Worker进程的请求消息。自适应扫描线程维护了当前查询扫描任务的进度，并根据每个PX Worker进程的工作进度，向PX Worker进程分派需要扫描的Disk Unit ID。对于...
自适应扫描
QC进程在发起并行查询任务时，会启动自适应扫描线程，用于接收并处理来自PX Worker进程的请求消息。自适应扫描线程维护了当前查询扫描任务的进度，并根据每个PX Worker进程的工作进度，向PX Worker进程分派需要扫描的Disk Unit ID。对于...
参数说明
当您通过数据库统计信息、慢SQL等信息了解数据库当前的状态以及存在的问题后，可以针对发现的问题，进行调整和优化。PolarDB PostgreSQL版（兼容Oracle）默认的参数模板适用于大多数通用的数据库场景，对于一些特殊的数据库场景，默认模板...
控制台发布记录
2024-3-7 开启冷数据归档 数据与缓存一站式 PolarDB MySQL版 支持数据与缓存一站式功能，在保证数据强一致性的同时，面向在线业务场景构建一套完整的数据库+缓存的解决方案。2024-3-12 灰度发布中 PolarDB MySQL推出数据与缓存一站式功能 ...
- 产品推荐
- 这些文档可能帮助您