扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
基本概念
相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
GPU计算型
GPU计算型实例具有高性能、高并行计算能力，适用于大规模并行计算场景，可以为您的业务提供更好的计算性能和效率。本文为您介绍云服务器ECS GPU计算型实例规格族的特点，并列出了具体的实例规格。主售（推荐类型）GPU计算型实例规格族gn7e ...
PyODPS概述
如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
什么是基因分析平台？
提供计算侧的文件访问缓存加速，支持计算作业直接读写OSS文件，解决并行任务的I/O和吞吐问题 大规模并行计算调度，提供容器/虚拟机执行环境，支持多种异构计算，加速基因分析。工程化的流程执行引擎，支持GA4GH标准（WDL/CWL）,无需迁移...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
功能概览
大规模文件系统通常用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份...
超级计算集群概述
计算：处理器与内存配比为1:3 处理器：3.1 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）存储：均为I/O优化实例 仅支持SSD云盘和高效云盘 网络：同时支持RoCE网络和VPC网络，其中RoCE网络专用于RDMA通信 适用场景：大规模机器学习训练 ...
技术原理
原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
概述
弹性并行查询（Elastic Parallel Query）针对云上用户实例CPU资源利用率较低、使用不均衡的特征，充分挖掘集群中多核CPU的并行处理能力，以8核32 GB（独享规格）的 PolarDB MySQL版 集群版为例，示意图如下所示：前提条件 PolarDB 集群版本...
安装备份客户端
为便于进行备份，您需要：准备一台或多台物理机或虚拟机作为备份节点，然后把大规模文件系统挂载到这些节点上。挂载路径必须相同且为同一个，例如/mnt/cpfs。此挂载路径会作为 添加数据源 时的 数据源路径。在备份节点上安装备份客户端。您...
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
PAI灵骏智算服务概述
PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。您只需为AI训练所消耗的资源付费，无需建设、调优和运维...
产品规格
ecs.sccgn6.24xlarge 处理器：2.5 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）vCPU：96 内存：384GiB GPU：8*Nvidia Tesla V100 以太网：30Gbit/s RDMA：50Gbit/s 高效云盘 ESSD云盘 SSD云盘 需要GPU参与的单机或多机并行计算业务，如...
计算资源优化
GPU的功能特性如下：拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）、能够支持多线程并行的高吞吐量运算、逻辑控制单元相对简单。适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
应用场景
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽，让多路大规模数据搬移和快速并行计算成为典型的计算模式，但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中，例如语音识别等，在Batch值较...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
实践教程概览
MPI（Message Passing Interface）是支持多编程语言的并行计算通信库，具有高性能、大规模性、可移植性、可扩展性等特点。本教程以IMB软件和MPI通信库为例介绍如何测试E-HPC集群的通信性能。测试SCC集群性能 超级计算集群SCC具有无虚拟化...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
测试指标
一般扩展能力非常好的应用系统，扩展指标应是线性或接近线性的，现在很多大规模的分布式系统的扩展能力非常好。标准 理想的扩展能力是资源增加几倍，性能就提升几倍。扩展能力至少在70%以上。可靠性指标 双机热备 对于将双机热备作为可靠性...
PolarDB MySQL版8.0.2版本发布日志
修复在B-tree较高或B-tree数据倾斜的大表上执行并行查询操作时，可能存在的并行分片数目过少，或并发worker数据不均衡的问题。8.0.2.2.22 类别 说明 发布时间 新增功能和性能优化 支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、...
文本摘要（生成式）
性能优良：中英文模型均使用大规模数据训练得到，且采用自研适应NLG任务的预训练目标。适应各类生成任务：PALM可用于各类不同的生成任务，如摘要、问题生成、paraphrasing等等。方便易用：下游使用方便，基于生成的传统encoder-decoder框架...
PolarDB MySQL版8.0.1版本发布日志
修复RO节点的物理机出现故障时，RW节点在特殊情况下未将其复制关系中断，而引发RW节点刷脏受阻的问题。修复HA后，因表数量过多而引发table cache淘汰导致Autoinc回退的问题。修复多主集群缓存中心重启情况下，读写节点可能无法启动的问题。...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
MaxFrame概述
MaxFrame可直接使用MaxCompute海量弹性计算资源，并支持自动分布式、并行处理，大幅缩短数据处理的时间。更便捷的开发体验 MaxFrame已与MaxCompute Notebook、DataWorks集成，无需配置环境即可直接使用；同时MaxFrame也支持在用户本地环境...
音视频弹性处理
可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件，并将转换后的文件存储到对象存储的指定目录中。方案实施如下：上传视频...
漏洞管理常见问题
重启系统时，如果您的内核引导GRUB菜单曾做过修改，系统将无法自动为最新的内核建立引导菜单，即使重启后，云安全中心控制台仍然会提示 修复成功待重启。这种情况下，会导致无法验证漏洞是否修复成功。如果您需要使用新内核默认附带的设置...
常见问题
任务并行度 在Partition数量和BE数量较多时，您可以调大以下参数来加速任务执行。但是，增加并行度可能会带来更多的CPU资源消耗。max_routine_load_task_concurrent_num desired_concurrent_number 单个Routine Load任务会根据Kafka Topic ...
- 产品推荐
- 这些文档可能帮助您