产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
批量计算
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。
音视频弹性处理
可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件，并将转换后的文件存储到对象存储的指定目录中。方案实施如下：上传视频...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
产品规格
计算配置 网络配置 存储配置 推荐应用场景 通用型 ecs.g6.8xlarge 处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8269（Cascade Lake）vCPU：32 内存：128GiB GPU：无 以太网：10Gbit/s 高效云盘 ESSD云盘 SSD云盘 通用的大规模多机并发...
一键建仓
AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL实例费用：若您购买新的AnalyticDB MySQL实例...
功能概览
大规模文件系统通常用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份...
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
基本概念
相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器...
PAI灵骏智算服务概述
PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。您只需为AI训练所消耗的资源付费，无需建设、调优和运维...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的基本原理是有效利用多核CPU并发处理来加速查询，开启并行查询会占用更多的计算资源，并行度设置的过大可能导致集群负载偏高，一般建议不超过CPU核数的1/4。另外并行度超过CPU的核数是没有意义的，当集群有多个RO节点时，可以在8....
实践教程概览
MPI（Message Passing Interface）是支持多编程语言的并行计算通信库，具有高性能、大规模性、可移植性、可扩展性等特点。本教程以IMB软件和MPI通信库为例介绍如何测试E-HPC集群的通信性能。测试SCC集群性能 超级计算集群SCC具有无虚拟化...
计算资源优化
GPU的功能特性如下：拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）、能够支持多线程并行的高吞吐量运算、逻辑控制单元相对简单。适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景。...
已停售的实例规格
计算：处理器与内存配比为1:2 处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），基频2.7 GHz，全核睿频3.5 GHz，计算性能稳定 支持开启或关闭超线程配置 存储：I/O优化实例 仅支持ESSD云盘 实例存储I/O性能与计算规格对应...
任务拆分和执行
该公司选择使用两层拆分的集群任务，通过集群任务并行处理能力提高数据处理效率。具体的实现步骤如下：任务拆分阶段：将用户数据进行拆分，详情请参见 集群任务拆分阶段。第一层拆分：按用户表维度进行数据拆分。第二层拆分：按分页维度...
通过向导模式配置离线同步任务
本文为您介绍向导模式配置离线同步任务的常规配置，各数据源配置存在一定差异，请以 具体数据源配置文档 为准。背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本...
创建同步任务
限流：您可以通过限流控制同步速率，以保护读取端数据库，避免抽取速度过大，给源库造成太大的压力。限速最小配置为1MB/S。不限流：在不限流的情况下，任务将在所配置的并发数的限制基础上，提供现有硬件环境下最大的传输性能。说明 流量...
离线同步并发和限流之间的关系
本文可以帮助您理解和配置任务通道控制参数，降低误配的数量和答疑。本文将为您介绍离线同步并发和限流之间的关系。实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据...
控制台发布记录
下载备份文件 从备份文件恢复到自建MySQL数据库 列存索引多机并行执行 列存索引多机并行是由多个只读列存节点组成的一个多机执行组，并提供多机并行执行能力。适用于以下场景：通过多机并行的资源弹升能力扩展CPU和IOPS，降低查询时延。...
MaxFrame概述
MaxFrame可直接使用MaxCompute海量弹性计算资源，并支持自动分布式、并行处理，大幅缩短数据处理的时间。更便捷的开发体验 MaxFrame已与MaxCompute Notebook、DataWorks集成，无需配置环境即可直接使用；同时MaxFrame也支持在用户本地环境...
管理组件资源配置
大型配置：VMware服务实例规模超过30个主机或3000个虚拟机的情况下，建议升级NSX Manager和Edge为大型配置。表1-标准配置的管理组件资源配置 组件 虚拟机名称 vCPU配置 内存配置（GB）存储置备（GB）vCenter Server vcenter 8 28 915.15 ...
PyODPS概述
如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...
预加载算法
重要 为边缘一体机配置了最大开启任务数后，若要修改 推理模式，您需要删除该边缘一体机已开启的全部算法任务，才能修改。计算单元 算法任务的计算单元。LE-V-B012型号边缘一体机有4个计算单元，LE-V-B015型号边缘一体机有2个计算单元。每...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
创建调度任务
开启后，可根据需要配置如下参数：当 通信方式 设置为 单向 ONEWAY 时，可配置如下参数：单台机器最大处理速率：配置单台客户端在单位时间内处理的最大数据量。默认为机器最大处理速率。当 通信方式 设置为 回调 CALLBACK 时，可配置如下...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
如何优化Batch Insert
并行度过小或者过大都会影响性能，影响并行度的值的因素包括节点个数、节点规格（核数和CPU）、线程池压力等，所以并行度很难得出一个确切的数字，推荐通过实践环境进行测试，找出适合该环境的最佳并行度。子场景一：测试4节点下，batch ...
超级计算集群概述
计算：处理器与内存配比为1:3 处理器：3.1 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）存储：均为I/O优化实例 仅支持SSD云盘和高效云盘 网络：同时支持RoCE网络和VPC网络，其中RoCE网络专用于RDMA通信 适用场景：大规模机器学习训练 ...
OSS触发器概述
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。OSS 触发器使用限制 仅 原生OSS触发器 支持查询Bucket侧关联的所有触发器。您可以根据业务情况，重复使用已有的OSS触发器或删除不再...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
安装备份客户端
为便于进行备份，您需要：准备一台或多台物理机或虚拟机作为备份节点，然后把大规模文件系统挂载到这些备份节点上。挂载路径必须相同且为同一个，例如/mnt/cpfs。此挂载路径会作为 添加数据源 时的 数据源路径。在备份节点上安装备份客户端...
ARMS告警精细管理最佳实践
本文介绍ARMS告警管理如何应对大规模系统的告警配置。背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对...
应用场景
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽，让多路大规模数据搬移和快速并行计算成为典型的计算模式，但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中，例如语音识别等，在Batch值较...
离线异步任务场景
充足的GPU资源供给 函数计算平台提供充足的GPU资源供给，当业务遭遇大规模离线任务时，函数计算将以秒级弹性供给海量GPU算力资源，避免因GPU算力供给不足、GPU算力弹性滞后导致的业务受损，适合忙闲流量分明（长时空闲、短时繁忙）、忙闲...
概述
弹性并行查询（Elastic Parallel Query）针对云上用户实例CPU资源利用率较低、使用不均衡的特征，充分挖掘集群中多核CPU的并行处理能力，以8核32 GB（独享规格）的 PolarDB MySQL版 集群版为例，示意图如下所示：前提条件 PolarDB 集群版本...
- 产品推荐
- 这些文档可能帮助您