AI加速概述
PAI-AI加速器主要用于训练加速和推理加速，它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能...
使用函数计算实现网站的文件处理
本文介绍如何通过函数计算实现文件管理网站的功能，例如自动解压文件、自动打包压缩、自动处理图片分辨率等。应用场景 某图片网站数据管理主要提供图片标注服务，有以下需求：上传文件自动更新压缩包。用户特定图片更新并上传文件到OSS的...
深度解析PolarDB数据库并行查询技术
如何选择并行扫描的表 选择并行扫描的表是生成并行计划的重要基础，通过基于并行扫描代价的计算和比较，选择可以并行扫描的表作为候选，是并行执行计划迭代的第一步。基于新的并行代价，也许会有更优的JOIN顺序选择，尤其是当参与JOIN的表...
使用函数计算实现网站的文件处理
本文介绍如何通过函数计算实现文件管理网站的功能，例如自动解压文件、自动打包压缩、自动处理图片分辨率等。应用场景 某图片网站数据管理主要提供图片标注服务，有以下需求：上传文件自动更新压缩包。用户特定图片更新并上传文件到OSS的...
音视频弹性处理
本文介绍如何通过 Serverless 工作流、函数计算、文件存储、对象存储、及日志服务的组合方案，部署一个高弹性高可用的音视频处理系统。应用场景 有大量的视频需要上传。上传的视频需要及时处理去适配各种终端及网络条件。可以在短时间内...
PolarDB PostgreSQL版：ePQ架构详解
基于 PolarDB PostgreSQL版 的存储计算分离架构，推出了分布式ePQ执行引擎，提供了跨机并行执行、弹性计算、弹性扩展的保证，使得 PolarDB PostgreSQL版 初步具备了HTAP的能力。其优势如下：一体化存储：毫秒级数据新鲜度。TP/AP共享一套...
PolarDB PostgreSQL版：ePQ架构详解
基于 PolarDB PostgreSQL版（兼容Oracle）的存储计算分离架构，推出了分布式ePQ执行引擎，提供了跨机并行执行、弹性计算、弹性扩展的保证，使得 PolarDB PostgreSQL版（兼容Oracle）初步具备了HTAP的能力。其优势如下：一体化存储：毫秒级...
使用EXPLAIN查看并行计划
本文介绍如何使用EXPLAIN...查看使用并行查询时各类计算的具体执行时间 PolarDB MySQL版 8.0.2版本中，可以通过 EXPLAIN ANALYZE 语句查看使用并行查询时，各类计算的具体执行时间。查询语句如下：EXPLAIN ANALYZE select c_name,c_custkey,o_...
配置数据库代理
开启弹性并行查询（ePQ）能够有效利用多核CPU（集群内空闲计算资源）的并行处理能力，对复杂查询进行加速，详情请参见 弹性并行查询。说明 自2023年4月1日起，集群满足以下条件时会默认开启弹性并行查询，且默认的并行度为2：新创建的集群...
并行INSERT
简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO.SELECT.这种读写兼备的SQL。...
并行INSERT
本文介绍了 PolarDB PostgreSQL版 的并行INSERT功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.12.0及以上）说明 您可通过如下语句查看 PolarDB ...
使用跨机并行查询进行分析型查询
跨机并行查询功能比较消耗计算节点集群资源，因此只有对设置了px_workers的表才使用该功能。例如：表示t1表允许跨机并行查询 ALTER TABLE t1 SET(px_workers=1);表示t1表禁止跨机并行查询 ALTER TABLE t1 SET(px_workers=-1);表示t1表忽略...
使用跨机并行查询进行分析型查询
跨机并行查询功能比较消耗计算节点集群资源，因此只有对设置了px_workers的表才使用该功能。例如：表示t1表允许跨机并行查询 ALTER TABLE t1 SET(px_workers=1);表示t1表禁止跨机并行查询 ALTER TABLE t1 SET(px_workers=-1);表示t1表忽略...
创建任务工作负载Job
阿里云容器计算服务ACS集群支持通过界面创建Job类型的应用。本文将创建一个Job类型的busybox应用，并演示任务（Job）应用的特性。背景信息 Job负责批量处理短暂的一次性任务（short-lived one-off tasks），即仅执行一次的任务，它保证批...
概览
V2.0.14.6.0 计算节点范围选择与并行度控制 V2.0.14.6.0 ePQ Hint Injection V2.0.14.8.0 ePQ支持分区表查询 V2.0.14.11.0 自适应扫描 ❌ 并行INSERT V2.0.14.12.0 创建物化视图的跨机并行加速和批量写入 V2.0.14.6.0 ePQ支持并行写入及...
概览
V1.1.17 V14.5.1.0 Failover Slot V1.1.27 ❌ 安全可靠 TDE透明数据加密 V1.1.1 V14.5.1.1 弹性跨机并行查询（ePQ）ePQ支持查看与分析执行计划 V1.1.22 V14.6.6.0 计算节点范围选择与并行度控制 V1.1.20 V14.6.6.0 ePQ Hint Injection V1.1...
使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
任务编排
您可以使用顺序、分支和并行等方式来编排 函数计算 任务，Serverless工作流 会按照设定好的步骤可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行您定义的重试逻辑，以确保工作流任务顺利完成。本文介绍如何配置异步任务编排。...
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接...在创建Ganos模块扩展时，通常默认有个函数cost成本，如果表数据量较小，但函数属于计算密集，并且适合开启并行执行，此时默认不会开启并行查询，需要提高函数的cost成本后才能开启并行查询。
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接...在创建Ganos模块扩展时，通常默认有个函数cost成本，如果表数据量较小，但函数属于计算密集，并且适合开启并行执行，此时默认不会开启并行查询，需要提高函数的cost成本后才能开启并行查询。
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接...在创建Ganos模块扩展时，通常默认有个函数cost成本，如果表数据量较小，但函数属于计算密集，并且适合开启并行执行，此时默认不会开启并行查询，需要提高函数的cost成本后才能开启并行查询。
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
概述
需要并行和分布化Numpy或Scikit-learn，以及支持分布式运行TensorFlow、PyTorch和XGBoost的场景。数据量在TB级别以下的场景。PyODPS DataFrame 使用MaxCompute调度作业的场景。PyODPS DataFrame会将DataFrame编译成MaxCompute SQL。如果...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
快速开始
并行度为单个查询在单计算节点内最大允许同时运行的worker线程数，如果选择多机并行，单个查询最大允许同时运行的线程数=并行度×节点个数。打开并行查询功能时，需要设置 innodb_adaptive_hash_index 参数为OFF，innodb_adaptive_hash_...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。背景信息 PolarDB PostgreSQL版（兼容Oracle）支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。背景信息 PolarDB PostgreSQL版（兼容Oracle）支持通过 oss_fdw 插件创建OSS外部表，其物理存储位于 阿里云对象存储OSS 上，在数据库内仅保存表...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版 的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.13.0及以上）PostgreSQL 11（内核小版本1.1.35及以上）说明 您可通过如下...
2023年
创建物化视图的跨机并行加速和批量写入 2023年3月 弹性跨机并行查询功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版 的分析型查询性能。弹性跨机并行查询（ePQ）2023年3月 云数据库ACL安全升级。账号权限 2023年3月...
自适应扫描
当存在个别只读节点计算资源不足的情况时，可能会导致：扫描过程发生计算倾斜、用户发起的单次并行查询迟迟不能完成、查询受限于计算资源不足的节点长时间不能完成扫描任务。自适应扫描。ePQ提供的自适应扫描模式可以解决由于计算资源不足...
自适应扫描
当存在个别只读节点计算资源不足的情况时，可能会导致：扫描过程发生计算倾斜、用户发起的单次并行查询迟迟不能完成、查询受限于计算资源不足的节点长时间不能完成扫描任务。自适应扫描。ePQ提供的自适应扫描模式可以解决由于计算资源不足...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
羲和分析计算引擎
不同的场景依赖分析计算引擎自适应的采用不同的查询优化技术，包括按需的动态代码编译，CPU友好的内存数据布局，以及自适应的并行度调整等。理解数据和感知存储 作为完整数据仓库的一部分，羲和分析计算引擎，相比单纯的计算引擎，具备感知...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
任务
任务（Task）是MaxCompute的基本计算单元，用户通过编写SQL或者MapReduce程序来表达数据处理的逻辑，然后提交这些程序到MaxCompute服务上执行，MaxCompute会把这些程序转换为一个或多个任务，并在分布式环境中并行执行。对于您提交的大多数...
使用fcapp.run运行您的RESTful应用
函数计算 现已引入Custom Runtime和Custom Container函数，您可以直接在 函数计算 中运行自己存量的应用，而不必按照 函数计算 推荐的架构去拆分自己的应用。社区内比较成熟的项目的开发习惯是在一个程序中开发大量的REST API，因此会存在...
- 产品推荐
- 这些文档可能帮助您