ePQ支持分区表查询
ePQ不仅能够对普通表进行高效的跨机并行查询，对分区表也实现了跨机并行查询。ePQ对分区表支持的基础功能如下：对分区策略为Range/List/Hash的分区表进行并行扫描。对分区表进行索引扫描。对分区表进行连接查询。此外，ePQ还支持了部分与...
ePQ支持分区表查询
ePQ不仅能够对普通表进行高效的跨机并行查询，对分区表也实现了跨机并行查询。ePQ对分区表支持的基础功能如下：对分区策略为Range/List/Hash的分区表进行并行扫描。对分区表进行索引扫描。对分区表进行连接查询。此外，ePQ还支持了部分与...
CPFS并行文件存储
秒级故障检测功能：可快速检测坏盘和宕机的服务节点。支持多种数据保障模式：多副本模式：2副本、3副本 纠删码模式：（4+2p）、（4+3p）、（8+2p）、（8+3p）丰富的接口协议 支持POSIX（SMB、NFS）、Object、HDFS等接口协议：NFS v4.0、NFS...
消费幂等
消息重复的场景如下：发送时消息重复 当一条消息已被成功发送到服务端并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。如果此时生产者意识到消息发送失败并尝试再次发送消息，消费者后续会收到两条内容相同...
消息幂等
当一条消息已被成功发送到服务端并完成持久化，此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。如果此时生产者意识到消息发送失败并尝试再次发送消息，消费者后续会收到两条内容相同并且 Message ID 也相同的消息。投递时...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
可视化MapReduce模型
子任务failover策略 当执行节点宕机下线后，是否将子任务重新分发给其他机器执行。开启该配置后，发生failover时，子任务可能会重复执行，需自行做好幂等。说明 客户端版本为1.8.13及以上。主节点参与执行 主节点是否参与子任务执行。在线...
可视化MapReduce模型
子任务failover策略 当执行节点宕机下线后，是否将子任务重新分发给其他机器执行。开启该配置后，发生failover时，子任务可能会重复执行，需自行做好幂等。说明 客户端版本为1.8.13及以上。主节点参与执行 主节点是否参与子任务执行。在线...
可视化MapReduce模型
子任务failover策略 当执行节点宕机下线后，是否将子任务重新分发给其他机器执行。开启该配置后，发生failover时，子任务可能会重复执行，需自行做好幂等。说明 客户端版本为1.8.13及以上。主节点参与执行 主节点是否参与子任务执行。在线...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
Kyuubi概述
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
弹性并行查询（Elastic Parallel Query）常见问题
并行加速效果不明显的原因有如下几种：通过 explain/*+FORCE_SLAVE()*/SELECT.查看执行计划，判断SQL是否完成了执行计划，查看是否使用了并行查询，在explain中如看到 Parallel scan 字段，则表明使用了并行查询。并行查询的基本原理是将...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
PolarDB并行查询
串行优化流程中做针对并行执行的补强，例如修正table扫描方式等，这也是上面性能数据中Q6/Q12会有超线性加速比的原因。全算子统计信息推导+代价计算，补充了一系列的cost formula和cardinality estimation推导机制。自适应执行策略 在早期...
离线异步任务场景
函数计算平台接收到多个异步提交的离线GPU任务后，将自动弹出多个按量GPU实例并行处理，通过海量GPU算力资源的充分供给保证大量离线GPU任务的并行运行，以最大程度减少排队耗时。当离线GPU任务总数超出单个阿里云账号地域级别的GPU资源处理...
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
服务端人脸识别SDK
检测模块和识别模块并行处理 获取视频流之后，通过人脸检测识别出人脸，根据跟踪的ID进行人脸质量的判断。一个人脸的质量可以通过关键点定位是否准确、人脸质量模块分值是否比较高、人脸的角度是否在一定的范围内进行挑选，然后送入到活体...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
文本摘要（生成式）
洗洁精+白醋很多主妇其实都用过洗洁精来清洗油烟机，可能不得要领，清洁程度不一，小哥个人建议用清洁精+白醋，用来擦洗油烟机的面板和油盒，清洗油盒时，需要将油盒拿下来浸泡在洗洁精的温水中，浸泡半个小时左后，用抹布擦拭，可以看到...
消费重试
系统异常时处理中的消息状态如何恢复：帮助您了解当系统出现异常（宕机故障）等场景时，处理中的消息状态如何恢复，是否会出现状态不一致。消费重试策略 消费重试策略指消费者在消费某条消息失败后，消息重试的间隔时间和最大重试次数。...
已停售的实例规格
计算：处理器与内存配比为1:2 处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），基频2.7 GHz，全核睿频3.5 GHz，计算性能稳定 支持开启或关闭超线程配置 存储：I/O优化实例 仅支持ESSD云盘 实例存储I/O性能与计算规格对应...
日志位点监控
说明 该参数值设置的是默认启动的并行刷脏进程的数据，PolarDB 会根据主备延迟情况，动态启停一些并行刷脏进程，可能存在的并行刷脏进程为min(2*polar_parallel_bgwriter_workers,16)。polar_parallel_bgwriter_delay：并行刷脏进程每轮刷...
PolarDB HTAP实时数据分析技术解密
并行查询的加入使得PolarDB突破了单核执行性能的限制，利用多核CPU的并行处理能力，PolarDB部分SQL查询耗时成指数级下降。Why We Need Column-Store 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而受限于行式存储及行式...
性能调优
AnalyticDB MySQL版 做为分布式系统，其优势在于利用多机并行的能力，提升海量数据的处理速度，适合大数据量的分析。在某些场景中，查询计算量不是特别大，AnalyticDB MySQL具备分布式开销，反而查询较慢。也有某些场景下，AnalyticDB ...
创建倍速转码任务
针对带有视频流转码的任务，媒体处理MPS基于智能转码引擎和强大的云上资源调度能力，通过将视频源切分为多个较小的片段，使用多台转码机并行转码的方式提升视频流转码效率，显著缩短处理耗时。实现原理如下图：功能特性 类型 说明 加速倍数...
列存索引技术架构介绍
并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而，受限于行式存储及行式执行器的效率限制，单核执行...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。...在一些情况中，可以（甚至效率更高）把对表的扫描包括在查询的并行部分并且延迟对 WHERE 子句的计算，这样它会出现在 Gather 节点之上。不过，规划器不会这样做。
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
PolarDB MySQL版8.0.1版本发布日志
此时，查询结果中会返回不能使用列存引擎的原因。支持在Grouping字句中使用关联子查询，以及消除复杂关联子查询。多主集群的全局Binlog支持GTID（全局事务标识符）。优化Buffer Pool扩容功能，如自动取消前序缩容、及时扩容等。优化列存...
域名注册失败的原因
本文为您介绍域名注册订单支付成功后款项被退回，订单状态显示失败的常见原因及处理方法。可能原因：您的阿里云账号下存在已欠费的订单，本次注册域名的付款金额先抵扣了历史欠费的订单，导致注册失败。处理方法：登录您的阿里云账号，在 ...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。背景信息 PolarDB PostgreSQL版（兼容Oracle）支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。背景信息 PolarDB PostgreSQL版（兼容Oracle）支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版 的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.13.0及以上）PostgreSQL 11（内核小版本1.1.35及以上）说明 您可通过如下...
欠费说明
本文为您介绍使用媒体处理服务过程中欠费的原因、欠费处理策略及如何查看欠费金额。欠费原因 以下情况媒体处理服务会产生欠费：场景 欠费原因 您 未购买 媒体处理资源包 当您的阿里云账号的可用额度（包含阿里云账户余额、代金券、优惠券等...
Kafka实时ETL同步至Hologres
单击页面右上角的 高级参数配置，对同步任务运行时的并行度和资源进行配置，您可以根据Kafka Topic数据流量和分区数量确定对应配置项的取值，建议按照如下规则进行配置：读端并发数=Kafka Topic分区数 写端并发数=Kafka Topic分区数 内存=1...
数据处理
不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，返回结果可为任意类型。表格中仅提供 其他配置 中的参数说明，其他参数配置请参见 公共参数说明。输出结果：每个处理方法对相应上游节点的...
- 产品推荐
- 这些文档可能帮助您