全栈自研 CPFS 高性能并行文件存储服务

打造 AI Native 时代高性能存储引擎

  • 超大规模

    单文件系统最大支持 100PiB 容量,万亿文件数
  • 极致性能

    数据与元数据分离架构,最大支持百 TB/s 吞吐与亿级 IOPS
  • 高性价比

    智能生命周期管理,冷热分层存储
  • 企业级安全

    目录级细颗粒度权限控制
  • 产品简介
    文件存储 CPFS (Cloud Parallel File Storage) 是阿里云完全托管的并行文件系统,提供百 TB/s 吞吐、亿级 IOPS 和亚毫秒延时的高性能存储能力。其采用分布式并行架构,具备统一命名空间,支持数千节点并发访问及在线弹性扩展,数据持久性达 99.9999999%。适用于 AI 训练、自动驾驶、EDA 仿真、影视渲染等高性能计算场景,通过与 OSS 数据流动实现冷热分层,显著提升计算效率并降低整体成本,为行业领先的高性能计算存储解决方案。
    文件存储 CPFS
    应用场景
    用于 AI 深度训练、自动驾驶、基因计算、EDA 仿真、石油勘探、气象分析、机器学习、大数据分析以及影视渲染等业务场景中。

    自动驾驶训练

    自动驾驶训练

    自动驾驶场景下,每台测试车每天将产生几十 TB 数据,针对这些数据需要进行快速分析。同时快速的数据积累需要控制存储成本
    架构图-参考实现

    AI 训练与推理

    AI 训练与推理

    将 CPFS 、NAS、OSS 和 ESSD 等多个存储产品组合与 GPU 云服务器、SCC、神龙弹性裸金属等计算集群无缝对接。通过容器化部署服务实现资源弹性调度,提供超高吞吐和超高 IOPS 能力,支持混合云、线下和云上部署,快速构建 AI 基础环境
    架构图-参考实现

    影视渲染

    影视渲染

    文件存储 CPFS 为影视渲染提供几十 GBps 吞吐和百万 IOPS 的性能,在线扩容,业务无需中断,专线上云,确保数据安全
    架构图-参考实现

    相关产品

    高性能计算存储

    高性能计算存储

    以高性能并行文件存储 CPFS 为核心,充分利用与 OSS 和 NAS 之间的数据分层流动, 与神龙、GPU 和容器等计算产品无缝结合,为 AI、超算、仿真和生信等业务提供高性能计算存储解决方案
    架构图-参考实现
    安全合规

    CPFS 是安全稳定、可弹性扩展的高性能文件存储服务。支持数据冗余,集群中的物理机或者硬盘故障,也不影响客户使用。支持端到端的租户鉴权,客户挂载文件系统时会比对文件系统和计算的租户 ID。支持云备份,一定程度上保护客户误删的数据。

    • CPFS 支持数据冗余

      CPFS 支持数据冗余

      • 数据可靠性:CPFS 文件系统后端数据采用冗余机制,可以提供 99.9999999%(9 个 9)的数据持久性。

      • 数据一致性:从 EFC 客户端到后端存储完整链路上端到端 CRC 校验,同时提供后台数据正确性与一致性校验服务。

    • 可观测与安全隔离

      可观测与安全隔离

      • 性能监控:可以在控制台的性能监控页面或目标 CPFS 文件系统基本信息的性能监控页签中查看 CPFS 文件系统运行情况,包括 IOPS、吞吐、延迟和元数据 QPS 指标。

      • 权限控制:CPFS 支持 AccessPoint 功能能,可以针对文件或目录配置访问权限控制。

    • 数据安全

      数据安全

      • 支持云备份:CPFS 支持通过云备份产品周期性备份文件系统数据,保障数据的安全。

      • 端到端租户鉴权:全栈自研 CPFS 挂载点鉴权和 IO 鉴权,确保租户数据隔离。

    客户案例
    bannerbannerbanner
    1
    小鹏集团
    小鹏智驾业务基于阿里云全栈自研 CPFS 完成规模化部署,性能与体验全面优于上一代架构。
    2
    黑芝麻智能科技
    面向端侧智能研发的海量数据需求,全栈自研 CPFS 提供高性能访存支撑。
    3
    爱诗科技
    全栈自研 CPFS 的高吞吐和弹性扩展,让我们处理大规模多模态数据时,不用再担心存储成为瓶颈。