pg_hint_plan
如果第三个参数是soft（默认），表示仅修改max_parallel_workers_per_gather参数的值，由优化器决定实际的并行度。hard表示强制使用其指定的并行度。PX()表示 跨机并行查询 时进行并行查询。说明表示并行度。NoPX()表示针对此查询强制不...
偏分析场景的实践和优化
理论上表的分区数量越多越好，这样多个分区表可以做并行扫描。存储层更易做到水平扩展，存储千万条甚至上亿条数据。实际使用中建议一个分区表的数量在500w~5000w之间。选择合适的分区键 PolarDB-X 默认按照主键做分拆，主要为了降低分布式...
产品介绍
HTAP跨节点并行执行能力 PolarDB支持分析型查询，通过分布式并行计算技术，多个RO点并行执行SQL查询，充分发挥共享存储层的高IO吞吐能力，以及RO点的CPU和memory资源。能在一份TP数据上实时执行分析型查询，而无需再把数据导入到分析平台。...
查看和修改CPU拓扑结构
您可以查看并修改ECS实例的CPU拓扑结构来提高性能、提升并行性以及优化资源分配，以满足您在虚拟化环境、多线程编程、高性能计算等不同场景下的需求。本文介绍如何通过OpenAPI查看和修改实例的CPU拓扑结构。背景信息 什么是CPU 拓扑 CPU...
南京银行：借助云效完成敏捷转身，实现新金融DevOps...
通过架构变革、并行开发、多分支管理、持续集成等方式，成功实现敏捷转身。业务特征及痛点 南京银行科技有运维中心、研发中心和科技管理部，正式的员工有200多人，外包合作厂商有600多人，在线运营的运营系统有300多个。有人说银行不就是有...
专线连接类
阅读文档→选择合适的接入点→控制台购买物理专线接口→申请LOA→运营商施工→用户报竣并等待阿里云施工→支付资源占用费→启用物理专线→配置边界路由器→加入云企业网或者创建对等连接→配置路由→从两端主机互相做连通测试（一般能ping...
应用实践：Transformer模型训练加速
说明 由于预训练利用iterator读取数据，这里需要导入mpu来做数据并行。from megatron import mpu from transformers import BertConfig,BertForPreTraining from rapidformer import RapidformerEngine,get_args,PreTrainer from rapi...
ALTER FUNCTION
如果需要这样做，可以使用 CREATE OR REPLACE FUNCTION。configuration_parameter value 当该函数被调用时，要对一个配置参数做出增加或者更改的赋值。如果 value 是 DEFAULT 或者使用等价的 RESET，该函数本地的设置将会被移除，这样该...
ECS选型最佳实践
通过阿里云自主研发的虚拟化2.0技术，您的业务应用可以直接访问弹性裸金属服务器的处理器和内存，无任何虚拟化开销。弹性裸金属服务器具备物理机级别的完整处理器特性（例如Intel VT-x），以及物理机级别的资源隔离优势，特别适合上云部署...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
云效客户声音
——国泰财产保险有限责任公司首席架构师 许*一天我们能做什么？——中小金融企业持续交付之路“使用云效后，我们实现了多个产品多个版本的同步开发和测试，快速迭代交付，五十几个应用模块，在七个测试环境中，持续集成持续交付，互不干扰...
SQL表达式
某环境传感器可以采集温度、湿度及气压数据。设备上报到自定义Topic：/a1hRrzD*/user/update的数据如下：{"temperature":25.1,"humidity":65,"pressure":101.5,"location":"*,*"} 设置温度大于38℃时触发规则，并筛选出设备名称、温度和...
如何备份RDS只读实例
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
RDS MySQL只读实例逻辑备份
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
创建存储过程
PARALLEL { UNSAFE|RESTRICTED|SAFE } 通过 PARALLEL 子句可以使用并行顺序扫描（并行模式）。在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。如果设置为 UNSAFE，则该存储过程不能以并行模式执行。存在...
查询执行器介绍
本文介绍 PolarDB-X 1.0 的SQL执行器如何执行SQL中无法下推的部分。基本概念 SQL执行器是 PolarDB-X 1.0 中执行逻辑层算子的组件。对于简单的点查SQL，往往可以整体下推存储层MySQL执行，因而感觉不到执行器的存在，MySQL的结果经过简单的...
StarRocks概述
MPP框架能够充分的利用多节点的计算能力，整个查询可以并行执行，从而实现良好的交互式分析体验。StarRocks集群不需要依赖任何其他组件，易部署、易维护和极简的架构设计，降低了StarRocks系统的复杂度和维护成本，同时也提升了系统的可靠...
什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
常见问题
任务并行度 在Partition数量和BE数量较多时，您可以调大以下参数来加速任务执行。但是，增加并行度可能会带来更多的CPU资源消耗。max_routine_load_task_concurrent_num desired_concurrent_number 单个Routine Load任务会根据Kafka Topic ...
查询执行器介绍
多机并行（MPP）：您如果配置了只读实例，针对AP负载的查询，可以协调只读实例上多个节点的多核做分布式多机并行加速。为了准确查看执行模式，在原有EXPLAIN和执行计划的基础上，扩展了 EXPLAIN PHYSICAL，例如以下查询，在返回信息中可以...
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图...
教育行业模板-多路搜索
纯文本查询与多路搜索在搜题场景下的对比 为什么搜题要做多路召回？教育拍照搜题场景相比网页/电商的文本搜索有显著差异：搜索Query特别长：常规检索term数上限30，搜题可能需要100 搜索Query可能是由拍照OCR识别之后得到的文本，关键term...
CREATE PROCEDURE
PARALLEL { UNSAFE|RESTRICTED|SAFE } 通过 PARALLEL 子句可以使用并行顺序扫描（并行模式）。在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。如果设置为 UNSAFE，则该存储过程不能以并行模式执行。存在...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
常见问题
如果您有配置多Hive MetaStore、多MySQL的需求，或默认提供的连接器不包含您想要使用的服务时，您可以使用EMR Trino提供的5个占位连接器，即connector1~connector5，您可以选择其中任意一个，将其 connector.name 配置为hive或您所需要的...
云效 Flow 实现分支模式
分支与合并 实际软件开发中，并行开发有多种场景，也会为这些场景制定对应的分支策略。不论使用哪种分支策略，都是基于某个分支编译（或不需要编译）产生部署包，用这个部署包发布到对应的环境。根据分支是否需要集成，可以简单描述为：单...
自定义算子管理
1 什么是自定义算子 自定义算子是用户自己开发的算法，例如某个预标注算法，通过打包成代码镜像的方式注册到数据管理平台上，可以在数据处理任务中使用。说明 此处定义的算子可在后续数据处理任务时调用运行，包括“数据标准化算子”、...
常见问题
本文列举了在使用 云工作流（CloudFlow）过程中常见的问题，方便您在遇到问题时查阅及排查。问题列表 什么是云工作流？...您可以使用 触发器列表，将事件源产生的事件通过函数计算转发（调用 StartExecution API）给 云工作流。
计算资源优化
通过阿里云自主研发的虚拟化2.0技术，业务应用可以直接访问弹性裸金属服务器的处理器和内存，无任何虚拟化开销。弹性裸金属服务器具备物理机级别的完整处理器特性（例如Intel VT-x），以及物理机级别的资源隔离优势，特别适合上云部署传统...
实践教程概览
集群配置 实践教程 主要内容 使用E-HPC集群调度器插件 E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。关闭计算节点的CPU超线程 E-HPC...
新手指引
本文介绍从购买到使用云服务器ECS的全流程，帮助您快速上手云服务器ECS。云服务器ECS概述 云服务器ECS（Elastic Compute Service）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS级别云计算服务，让您像使用水、电、天然气等公共资源...
OOM常见问题排查指南
比较宽的列有比较大的scan并行度 若是已经调整过大宽表的导入参数，但是仍然出现OOM，可以排查业务是否有比较宽的列，若有可以通过调整以下参数解决。调整宽列的shuffle并行度，减少宽列数据量的堆积 set hg_experimental_max_num_record_...
控制台发布记录
2022-08-24 购买按量付费集群 和 购买包年包月集群 2022年07月 功能名称 功能描述 发布时间 相关文档 新增弹性并行查询（ePQ）弹性并行查询可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据...
创建SQL Server只读实例
当您面临数据库读取压力大幅增加时，可以通过创建一个或多个只读实例来扩展读取能力，提高应用的整体吞吐量。RDS SQL Server基于源生AlwaysOn技术，通过物理复制方式复制主实例生成只读实例，只读实例数据与主实例保持一致，并且主实例的...
创建SQL Server只读实例
当您面临数据库读取压力大幅增加时，可以通过创建一个或多个只读实例来扩展读取能力，提高应用的整体吞吐量。RDS SQL Server基于源生AlwaysOn技术，通过物理复制方式复制主实例生成只读实例，只读实例数据与主实例保持一致，并且主实例的...
优化内部表的性能
这些信息将为优化器更新算子执行预估COST、搜索空间裁剪、估算最优Join Order、估算内存开销、估算并行度，从而生成更优的执行计划。关于统计信息更多的介绍，请参见 Using Explain。统计信息的收集也存在一定局限，主要是 针对非实时、...
- 产品推荐
- 这些文档可能帮助您