AI 时代的KV缓存 Tair KVCache

分布式动态分级缓存,突破显存瓶颈,加速大模型推理

  • 超长上下文

    突破单机显存瓶颈,支持更大Batch Size和更长上下文,提升大模型推理的扩展性。
  • 高速低时延

    复用历史KV Cache,减少冗余计算,实现首Token时间(TTFT)缩短90%。
  • 资源提效

    动态管理多级存储,显存与计算资源解耦,吞吐提升30%、成本降低20%。
  • 分布式服务

    无缝对接主流推理引擎,结合Redis语义接口,提供分布式分级缓存服务。
  • 产品简介
    Tair KVCache为大语言模型推理提供KVCache缓存服务,实现GPU服务器HBM、DRAM等多级存储的池化管理。以存代算,提升大语言模型推理服务的推理速度和吞吐性能,提升GPU服务器的资源利用率,加速提效的同时降低资源成本。
    Tair KVCache
    产品优势
    Tair KVCache 通过分布式内存池化、动态多级缓存体系、智能路由与数据传输等技术,实现高效、可扩展的 KVCache 管理,显著提升大模型推理性能与资源利用率。
    img

    动态多级缓存管理,支持更大批处理规模和更长上下文

    实现智能路由和缓存资源的最优管理,统一管理多级存储资源(GPU显存、CPU内存、SSD、远端存储)。通过将KVCache卸载至分布式池化存储、单卡显存仅需保留热数据,以支持更大BatchSize(实验显示批处理规模提升5-10倍)、更长的长上下文处理(如百万Token级输入)。在提升吞吐性能和资源利用率的同时,降低大模型推理成本。

    img

    分布式内存池化和智能路由,突破内存墙

    利用GPU集群空闲内存组成分布式内存池,显存容量扩展与计算资源解耦,突破单机内存瓶颈。无缝集成推理引擎,结合PD分离技术,减少冗余计算,TTFT (首Token时间)缩短90%。在增强资源扩展能力的同时提升大模型推理效率。

    img

    智能路由降低跨节点通信延迟,加速访问效率

    基于KVCache的亲和性路由策略,在实现远程获取KVCache读写能力的同时,优化跨节点通信路径,压缩余数据传输、减少网络带宽竞争,更进一步提升减少KVCache读取的代价。

    img

    兼容主流推理引擎,结合Redis语义接口,提供分布式服务支持

    无缝集成主流推理引擎的同时,提供Redis兼容接口,支持动态限流控制、队列化负载均衡、多轮对话缓存等场景,满足大模型推理的高并发需求。

    应用场景
    Tair KVCache 通过内存池化与多级缓存管理、智能路由、高效数据传输、分布式服务化支持等能力,显著提升大模型推理性能,适用于多轮对话、海量并发、内容生成、和推荐系统等商业场景,全面优化资源利用率和用户体验。

    多轮对话场景

    多轮对话场景

    Tair KVCache通过将KV cache卸载至分布式池化存储,支持更大批处理规模和更长上下文。Redis语义接口服务多轮对话缓存,确保对话连贯性。
    架构图-参考实现

    海量并发场景

    海量并发场景

    Tair KVCache通过其分布式内存池化和多级缓存机制、高效数据传输技术和亲和性路由策略能够有效应对智能驾驶、社交平台等场景下的高并发挑战。
    架构图-参考实现

    知识检索增强(RAG)场景

    知识检索增强(RAG)场景

    结合 KVCache 和 RAG 方法,对预检索内容进行缓存优化,通过存储 RAG cache、离线计算结果及优化加载pipeline,大幅提升响应速度和吞吐量。
    架构图-参考实现
    图片

    Gartner®

    国际市场研究机构Gartner®日前公布2025年度全球《云数据库管理系统魔力象限》报告,阿里云成为亚太区唯一入选该报告“领导者(LEADERS)”象限的科技公司,同时也是唯一一家连续6年入选“领导者”象限的中国企业。
    国际市场研究机构Gartner®日前公布2025年度全球《云数据库管理系统魔力象限》报告,阿里云成为亚太区唯一入选该报告“领导者(LEADERS)”象限的科技公司,同时也是唯一一家连续6年入选“领导者”象限的中国企业。
    安全合规

    Tair KVCache提供网络隔离、权限管理、分布式协同等多种方式维护服务安全稳定。

    卡片头部图

    访问控制

    RAM鉴权:支持通过RAM身份管理机制,实现对于控制台或使用API访问阿里云账号下的资源的权限控制。
    账号密码:支持对实例设置账号密码,管理登录权限。
    卡片头部图

    网络安全

    VPC网络隔离:为用户提供专有网络,帮助用户基于隧道技术实现数据链路层的隔离,为每个用户提供独立隔离的虚拟安全网络环境。
    白名单和安全组:支持通过设置白名单和安全组对实例的网络访问源进行安全控制。
    卡片头部图

    容灾服务

    分布式部署:提供多个节点,实现分布式部署,单个节点的故障不会影响整个实例的可用性。
    智能路由:通过智能路由,管理跨节点协同和通信路径。