产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
音视频弹性处理
可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件，并将转换后的文件存储到对象存储的指定目录中。方案实施如下：上传视频...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
实践教程概览
MPI（Message Passing Interface）是支持多编程语言的并行计算通信库，具有高性能、大规模性、可移植性、可扩展性等特点。本教程以IMB软件和MPI通信库为例介绍如何测试E-HPC集群的通信性能。测试SCC集群性能 超级计算集群SCC具有无虚拟化...
技术面临的挑战与革新
存储计算分离是近年来分布式系统设计架构的潮流，从2001年开始Google的GFS开创先河地开始使用了普通X86服务器和硬盘搭建了大规模的存储，虽然受限于当时网络的传输速度，和机器间的带宽，还是需要耦合计算和存储节点的分布。但是随着底层...
PyODPS概述
如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
并行资源控制策略配置
MULTI_NODES：强制多机并行，最大并行度会随节点数增加而成倍增加，适用于海量数据的分析类大查询。系统资源使用限制 AUTO策略下，PolarDB 会根据数据库的CPU、内存或IOPS资源的使用率来决定是否禁止并行查询计划，并支持在需要并行执行的...
并行查询配置参数说明
MULTI_NODES：强制多机并行，最大并行度会随节点数增加而成倍增加，适用于海量数据的分析类大查询。records_threshold_for_parallelism Session 若优化器估算出语句中存在扫描记录数超过该阈值的表，优化器会考虑选择并行执行计划。取值...
产品规格
ecs.sccgn6.24xlarge 处理器：2.5 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）vCPU：96 内存：384GiB GPU：8*Nvidia Tesla V100 以太网：30Gbit/s RDMA：50Gbit/s 高效云盘 ESSD云盘 SSD云盘 需要GPU参与的单机或多机并行计算业务，如...
什么是基因分析平台？
提供计算侧的文件访问缓存加速，支持计算作业直接读写OSS文件，解决并行任务的I/O和吞吐问题 大规模并行计算调度，提供容器/虚拟机执行环境，支持多种异构计算，加速基因分析。工程化的流程执行引擎，支持GA4GH标准（WDL/CWL）,无需迁移...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
功能概览
大规模文件系统通常用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份...
超级计算集群概述
计算：处理器与内存配比为1:3 处理器：3.1 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）存储：均为I/O优化实例 仅支持SSD云盘和高效云盘 网络：同时支持RoCE网络和VPC网络，其中RoCE网络专用于RDMA通信 适用场景：大规模机器学习训练 ...
技术原理
原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...
构建基于Serverless架构的弹性高可用音视频处理系统
并行和分布式视频处理 通过 Serverless 工作流 资源编排即可实现多个视频的并行处理和单个大视频的分布式处理，稳定性和监控交由云平台。需要很强的开发能力和完善的监控系统来保证稳定性。学习上手成本 会编写对应语言的函数代码和熟悉...
概述
弹性并行查询（Elastic Parallel Query）针对云上用户实例CPU资源利用率较低、使用不均衡的特征，充分挖掘集群中多核CPU的并行处理能力，以8核32 GB（独享规格）的 PolarDB MySQL版 集群版为例，示意图如下所示：前提条件 PolarDB 集群版本...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
应用场景
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽，让多路大规模数据搬移和快速并行计算成为典型的计算模式，但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中，例如语音识别等，在Batch值较...
灵骏常见问题
在并行度极高的大规模计算场景，比如自然语言处理、自动驾驶模型训练、推荐引擎等，相比普通GPU托管服务可以减少训练的时间和成本，建立更大、更复杂的模型。开通集群后，是否需要安装GPU驱动？灵骏计算节点的操作系统镜像中已包含GPU驱动...
PAI灵骏智算服务概述
PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。您只需为AI训练所消耗的资源付费，无需建设、调优和运维...
计算资源优化
GPU的功能特性如下：拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）、能够支持多线程并行的高吞吐量运算、逻辑控制单元相对简单。适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景。...
产品优势
难以支撑大规模高并发转码任务。专业的转码算法 强大的计算资源，先进的视频处理算法，业界独有的画质重生技术，将现存普通或受损的影视内容重制为超高清或画质修复的版本。视频质量依赖开源转码服务。功能丰富、高可定制 视频转码、截图、...
CPFS并行文件存储
产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件存储产品，可结合云上、云下多级存储池，拥有全新的文件存储架构。该产品单集群最大可扩展至16384个节点，提供高性能、高可扩展性、低时延的分布式文件存储服务。可...
负载均衡SLB产品家族介绍
产品简介 阿里云提供全托管式在线负载均衡服务，具有即开即用、超大容量、稳定可靠、弹性伸缩、按需付费等特点，适合超大规模互联网应用，如春节红包、双十一秒杀抢购、大规模在线物联网应用等高并发场景。与传统的硬件型负载均衡自建方案...
迁移Batch批量计算到分布式工作流Argo集群
批处理作业（Batch）通常用于数据处理、仿真计算、科学计算等领域，往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发，完全符合开源工作流标准。通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用...
数据迁移概述
将数据并行从OSS导入到AnalyticDB PostgreSQL 将数据并行导出到OSS 阿里云Jindo DistCp 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件...
使用Argo Workflow编排动态DAG Fan-out/Fan-in任务
背景信息 Fan-out Fan-in Fan-out和Fan-in常用于构建高效的并发处理流程，通过拆分（Fan-out）和聚合（Fan-in）操作，能够充分利用多核、多机资源，实现大规模数据的高效处理。如上图所示，工作流编排过程中，可以使用DAG（有向无环图）...
媒体转码
难以支撑大规模高并发转码任务。转码算法 强大的计算资源，先进的视频处理算法。依赖开源转码服务。功能 视频转码，视频转封装，视频转HLS，视频转动图，视频拼接，视频截图，视频截雪碧图，音频转码，音频提取，字幕提取等。需要自行对接...
已停售的实例规格
计算：处理器与内存配比为1:2 处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），基频2.7 GHz，全核睿频3.5 GHz，计算性能稳定 支持开启或关闭超线程配置 存储：I/O优化实例 仅支持ESSD云盘 实例存储I/O性能与计算规格对应...
天弘基金
业务挑战 在大规模分布式应用中，曾经的单体应用按横向和纵向的维度被拆分到集群的各个节点之中，为了解决服务及数据调用的问题，引入了分布式服务框架、分布式消息集群、分布式文件存储、分布式缓存等一系列服务。应用的拆分及分布式中间...
应用场景
媒体处理可以将多媒体数据转码成适合在全平台播放的格式，并基于海量数据对媒体的内容进行审核、添加标签、版权保护等，广泛应用于视频网站、在线教育、电视传媒和泛娱乐视频等各类视频处理场景。本文为您介绍媒体处理服务常见的应用场景。...
AGS概览
ACK One分布式工作流Argo集群，是面向批处理、数据处理、科学计算、持续集成等业务场景，提供托管开源Argo的工作流集群，可以实现大规模工作流编排与高效弹性运行，并优化运行成本。WDL工作流 WDL（Workflow Description Language）是由...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
- 产品推荐
- 这些文档可能帮助您