开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景...
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景...
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景...
使用跨机并行查询进行分析型查询
若设置该参数为N，则一个会话在每个节点上将会启用N个px workers进程，用于处理当前的跨机并行查询逻辑。px_workers 指定跨机并行查询是否对特定表生效。默认不生效。跨机并行查询功能比较消耗计算节点集群资源，因此只有对设置了px_...
使用跨机并行查询进行分析型查询
若设置该参数为N，则一个会话在每个节点上将会启用N个px workers进程，用于处理当前的跨机并行查询逻辑。px_workers 指定跨机并行查询是否对特定表生效。默认不生效。跨机并行查询功能比较消耗计算节点集群资源，因此只有对设置了px_...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
整体架构
AnalyticDB MySQL版 融合了分布式、弹性计算与云计算的优势，对规模性、易用性、可靠性和安全性等方面进行了大规模的改进，充分满足不同场景实时数据仓库的需求。支持更大规模的并发访问、更快读写能力以及更智能的混合查询负载管理等，...
Semi-Join的并行加速
下文展示了在标准TPC-H中，SCALE为100 GB的数据量热数据场景下，开启并行后多阶段的并行处理能力。说明 本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准测试的所有要求。...
ARMS告警精细管理最佳实践
本文介绍ARMS告警管理如何应对大规模系统的告警配置。背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对...
深度解析PolarDB数据库并行查询技术
传统的优化器只能生成串行的执行计划，为了实现并行读取数据，同时并行处理数据，首先必须对现有的优化器进行改造，让优化器可以生成需要的并行计划。例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些...
热点行优化
因此 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。具体方案如下：串行...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
可视化MapReduce模型
子任务failover策略 当执行节点宕机下线后，是否将子任务重新分发给其他机器执行。开启该配置后，发生failover时，子任务可能会重复执行，需自行做好幂等。说明 客户端版本为1.8.13及以上。主节点参与执行 主节点是否参与子任务执行。在线...
可视化MapReduce模型
子任务failover策略 当执行节点宕机下线后，是否将子任务重新分发给其他机器执行。开启该配置后，发生failover时，子任务可能会重复执行，需自行做好幂等。说明 客户端版本为1.8.13及以上。主节点参与执行 主节点是否参与子任务执行。在线...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
登录系统
本文介绍了如何通过Web方式登录堡垒机系统。背景信息 说明 只有阿里云主账号和RAM账号可以通过以下方法登录堡垒机Web界面。本地帐户、AD/LDAP账号无法登录堡垒机Web界面，只能通过CS方式运维。操作步骤 登录 云盾堡垒机控制台。选择要操作...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
什么是弹性云手机
优异性能 云手机采用企业级GPU硬件加速以及自研的音视频串流编解码技术，具备接近真机的端到端时延，可有效应用于云游戏以及直播互动等场景。更多选择理由，请参见 产品优势。产品架构 阿里云弹性云手机基于ARM服务器实现，并集成高性能...
如何选择实例规格
32核128 GB 48核192 GB 64核256 GB 96核384 GB 128核512 GB 企业版 32核128 GB 大规格资源，面向具备企业级超高并发、大规模数据复杂查询、加速分析的业务场景。默认提供Parallel Query并行查询能力，可大幅提升海量数据下复杂查询、报表...
PolarDB HTAP实时数据分析技术解密
并行查询的加入使得PolarDB突破了单核执行性能的限制，利用多核CPU的并行处理能力，PolarDB部分SQL查询耗时成指数级下降。Why We Need Column-Store 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而受限于行式存储及行式...
应用场景
高速稳定的并行转码系统，转码任务规模无缝扩展。视频内容再造 利用视频AI和超分技术、媒体处理技术，实现低画质素材高清重生内容再造。泛娱乐视频 媒体处理为泛娱乐门户提供完整的视频服务，帮助您快速搭建一个功能齐备的泛娱乐视频发布...
基础设施安全
网络ACL可以对交换机中的所有ECS实例的流量进行控制，对于需要限制流量的大规模应用非常有用。通过使用安全组和网络ACL，可以有效地保护VPC内的资源安全，提高系统的安全性和可靠性。详细信息，请参见 安全组概述 和 网络ACL概述。IPv4网关...
天弘基金
业务挑战 在大规模分布式应用中，曾经的单体应用按横向和纵向的维度被拆分到集群的各个节点之中，为了解决服务及数据调用的问题，引入了分布式服务框架、分布式消息集群、分布式文件存储、分布式缓存等一系列服务。应用的拆分及分布式中间...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
产品优势
本文介绍云原生关系型数据库 PolarDB PostgreSQL版（兼容Oracle）的...跨机并行查询 支持跨机并行查询计算引擎，多个节点跨机并行执行SQL，充分发挥所有计算节点的CPU、内存、网络的硬件资源，加速 分析型查询性能。具体可参见 跨机并行查询。
列存索引技术架构介绍
并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而，受限于行式存储及行式执行器的效率限制，单核执行...
应用场景
下文先以用户注册为场景说明 云消息队列 RocketMQ 版 如何实现以下功能：异步解耦 分布式事务的数据一致性 消息的顺序收发 最后，再以电商的秒杀场景和价格同步场景分别说明 云消息队列 RocketMQ 版 所实现的削峰填谷和大规模机器的缓存...
并行INSERT
简介 PolarDB PostgreSQL版 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO.SELECT...
测试指标
一般扩展能力非常好的应用系统，扩展指标应是线性或接近线性的，现在很多大规模的分布式系统的扩展能力非常好。标准 理想的扩展能力是资源增加几倍，性能就提升几倍。扩展能力至少在70%以上。可靠性指标 双机热备 对于将双机热备作为可靠性...
查询执行器介绍
3)|RemoteSource(sourceFragmentIds=[3],type=RecordType(INTEGER_UNSIGNED k,BIGINT cnt))|+-+多机并行执行模式的并发度是根据物理扫描行数、实例规格和计算所涉及到表的分表数计算得出的，整体的并行度要考虑高并发场景，所以并行度的...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
主机管理
新建主机 您可以 登录云盾堡垒机Web管理页，在 资产>主机管理 页面创建主机，创建方式包括：手动创建、同步阿里云ECS、从本地文件导入。手动创建 单击 新建主机，进入 新建主机 页，然后按要求填写主机信息后即可创建。同步阿里云ECS 在 ...
ePQ支持分区表查询
背景信息 随着数据量的不断增长，表的规模将会越来越大。为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又可以进一步拆分成二级子分区表，从而形成了多级分区表。PolarDB PostgreSQL版 支持...
技术架构
如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，应用了多种传统单机数据库优化和执行技术。...
文本摘要（生成式）
性能优良：中英文模型均使用大规模数据训练得到，且采用自研适应NLG任务的预训练目标。适应各类生成任务：PALM可用于各类不同的生成任务，如摘要、问题生成、paraphrasing等等。方便易用：下游使用方便，基于生成的传统encoder-decoder框架...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
OSS/OSS-HDFS的性能优化最佳实践
为了帮助您利用其规模，建议您将并行请求水平扩展到OSS服务终端节点，这种扩展方式有助于通过网络将负载分布在多个路径上。OSS-HDFS使用了上述最佳实践，通过元数据服务支持，以文件块的方式将文件水平扩展到多个OSS服务终端上，以获取最佳...
- 产品推荐
- 这些文档可能帮助您