产品功能

面向万亿参数模型和训推一体融合的新一代智能计算集群

智能计算灵骏

    产品功能

    以万卡并行算力支撑AI应用持续创新

    • 应用场景
      智能计算灵骏主要用于支持基础模型大规模训练,MoE多模态模型训练,微调、上至万亿参数规模模型并行推理等面向未来的AI并行计算场景应用,以每秒数百亿亿次浮点计算性能(EFLOPS),软硬一体设计使得在相同空间下提供更强性能与更高稳定性,支持包括人工智能、自动驾驶、科学智能、基础模型、金融科技等行业持续创新。
    • 超大规模无收敛架构
      以AI应用性能和任务稳定性为核心设计,以物理带宽和拓扑为基础实现网络拥塞控制,结合通信库实现流量负载优化,端到端时延低至2us。 基于端网协同的思想,对网络集群进行架构设计、网络拓扑、路径选择、流量控制等系统性优化,实现超大规模线性扩展,可实现 96%以上的万卡规模显性扩展度以及网络稳态运行,同时支持集群十万卡级别超大规模Scale-up&Scale-out融合扩展。同时,对集群内数据交换和互联资源统筹,通过系统性的调优逼近系统的吞吐性能极限,提升系统的鲁棒性。
    • 为大规模并行计算设计的网络拓扑
      灵骏高性能计算网络 HPN7.0,是全球首个基于 51.2T 以太网交换芯片的高性能 GPU 互联集群网络,采用多轨+双平面网络拓扑,可以支持单层千卡 Segment,两层万卡的能力。可以支持包括 800G/1.6T/3.2Tbps 的多种 RDMA 网络配置,基于 HPCC 自研流控设计和多路径优化策略,可实现最大化消除通信拥塞。同时灵骏采用双上联的冗余设计,有效缓解因网卡、交换机、光模块、光纤等硬件问题引发的异常,避免中断训练进度,从而大大节省计算资源。特别注意的是,灵骏的计算网络(高性能 RDMA 网络)和存储管理网络(DC 网络)是分离的,一方面能够支持在 AZ 级同一个 DC 集群搭配多个 HPN 集群,实现多个计算集群的存储和 VPC 共享,也可保证算存分离,使得并行计算的密集通信流量与存储传输流量互不干扰,实现最小化网络抖动。
    • 开服地域
      智能计算灵骏在 华北6(乌兰察布)、新加坡、华南1(深圳)、华北2(北京)、华东2(上海)和华东1(杭州)地域支持,当前灵骏智算资源提供包年包月计费模式,仅对白名单用户受限申请使用。

    高性能的灵骏智能计算实例

    • 多元GPU卡型的灵骏加速计算实例支持
      智能计算灵骏作为面向加速计算场景的裸金属集群服务,基于灵骏智算集群的异构计算实例,拥有GPU(Graphic Processing Unit)及高速片间互联,高速网络互联等特性,整体架构基于 Scale-up domain 维度进行设计,,即灵骏加速计算实例内的所有 GPU 全部享受高速片间互联,同时每张 GPU 卡都支持在集群维度内 RDMA 等效互联通信,此外,实例支持 balanced 部署 GPU, 本地 NVMe,以及高性能 RDMA 网卡,实现 numa 亲和等特性。
    • 标准化K8S、Serverless的容器实例支持与AI场景优化
      集群部署就绪,您可以按需通过ACS Serverless化的容器实例,K8S集群服务来使用容器化的GPU算力,此外,K8S已经完成对于CPU、GPU等异构资源的抽象与编排,并且针对AI场景,产品也提供了包括算子优化、PD分离、EP并行部署与负载均衡、Cache-aware的调度等能力上的增强,同时也支持了按需挂载存储与使用网络能力。
    • 高性能的数据存储访问能力
      为了满足训练场景高速Checkpoint存储和智算业务的极致数据加载需求,灵智能计算骏可支持基于RDMA的高性能分布式文件存储CPFS的灵活挂在,同时支持 VPC/EBS 端侧可卸载能力,实现标准的云产品互访互通。

    自动化的集群管理

    • 产品化,自动化的集群管理能力
      智能计算灵骏产品支持灵骏裸金属节点的分配与资源池化的调度能力,集群支持使用ACK作为容器集群管理服务,使用CPFS作为高性能并行文件存储,支持使用EBS作为系统盘/数据盘,支持使用PAI作为人工智能平台服务,支持对接ARMS Prometheus监控能力,整个集群的部署过程一键完成,高性能智算集群分钟级就绪。
    • 故障自愈系统保障并行计算任务稳定性
      灵骏故障自愈系统是基于丰富的监控体系构建的对客保障能力和自动化自愈处理,覆盖灵骏的 OS/GPU/高性能网络/DPU 等多维故障。并实现故障精细化消费策略与自动化故障冷迁移能力,最大限度减少用户的不可用时长。同时灵骏构建了用于检测智算集群整体健康情况的自动化巡检平台,实现了覆盖GPU异构算力及节点间集合通信的多维度集群健康状态周期检测能力,可对机器进行单机检测/两机检测/多节点集群等多种模式的持续检测。真正做到事前预防(降低发生概率),事后容错(提升问题处理效率,降低训练算力损失),逐步推进故障左移策略。

    全面的集群监控能力

    • 可观测能力与运维能力
      灵骏在管控台提供了监控数据大盘展示,包括GPU异构计算资源、秒级的RDMA高性能网络监控告警、故障定位能力等,同时也支持操作日志、运维任务展示,此外还支持了资源与环境的信息展示,方便用户了解整个集群的资源使用与运行情况。基于监控数据基础,灵骏还支持白屏化的基础运维能力,例如系统重启、集群与节点运维诊断、web终端能力。