大模型
产品
解决方案
权益
定价
AI 应用市场
伙伴
服务
了解阿里云
查看 "" 全部搜索结果
AI 助理
文档
备案
控制台
Tair KVCache
Tair KVCache
瑶池数据库
产品概述
产品功能
选型与定价
相关资源
文档
产品功能
高效应对大语言模型推理中计算效率、吞吐性能、资源利用与服务弹性的挑战。
申请试用
Tair KVCache
产品功能
分布式 KVCache
历史KV复用
通过存储和复用历史KV Cache,避免推理服务中重复计算的开销。显著缩短首个Token生成时间(TTFT),提升推理延迟表现和服务响应速度。
高效数据传输
根据底层互联特性,提供高效数据交互机制实现高带宽的KVCache共享。支持多节点协同的高频数据通信,优化数据传输效率,实现在跨节点的分布式推理场景中的高效数据传输。
成本优化
动态多级缓存
通过显存-内存-SSD分级存储体系,将数据与计算资源解耦,实现了显存与算力的独立管理。且当推理过程中GPU节点的模型参数或者KV缓存超出容量限制时,进行动态卸载,有效增加批处理大小,提升吞吐能力。通过资源利用率的提升,显著降低GPU资源占用成本。
PD分离
对接主流开源推理引擎,基于推理引擎提供的PD分离技术,将计算和访存需求分配至适配的硬件资源,并实现P和D之间高效率的KVCache传输,既优化大语言模型推理的资源利用率,也提升整体推理效率,满足了高性能推理的需求。
分布式服务化
动态流量控制
基于Redis接口实现漏桶算法等动态限流控制策略,在高并发场景下保护推理引擎资源不被恶意或异常流量耗尽,提高关键请求的服务质量。
KVCache 智能路由
数据亲和性管理,通过优化的智能路由,减少跨节点或跨机架的数据传输,降低网络带宽竞争,提升分布式推理的效率和吞吐能力。
队列化负载均衡
支持阻塞式读取(等待新任务到达)或批量拉取,避免频繁轮询。多个推理引擎消费者属于同一任务时,内存队列Stream会自动将消息分配给不同消费者,实现并行处理。每个消费者独立维护未确认消息列表,确保任务不会被重复消费。
多轮对话缓存
可以利用内存的Hash结构来满足:快速存取 -- 毫秒级响应,避免对话卡顿;上下文关联 -- 支持按会话ID(Session ID)快速检索完整历史;高并发支持 -- 应对海量用户同时发起对话。