阿里云的 DeepGPU 方案，帮助海艺 AI 的推理耗时提升至 3.95s，模型切换无感，LoRA 切换无感，对比原架构 的8-10s性能提升50%以上，端到端性能考虑模型读取，增加1-2s延迟，整体提升依然在50%以上。
海艺 AI 是一家在 AIGC（AI Generated Content）垂直领域的行业先锋，专注于生成式AI的研发和应用，核心产品 SeaArt 是一款高效易用且用户友好的人工智能绘画工具。
目前，海艺AI在全球已积累超过1000万活跃用户，位列全球 Aicpb 榜单第4名，仅次于Midjourney 和 Leonardo。海艺 AI 拥有超过10亿的优质图像视频素材，模型数量超过 30 万，合作的模型作者 1000 余人，这是公司成立不到一年所取得的成绩。海艺 AI 以游戏领域为起点，打造全流程创作工作流，业务已拓展至家居、金融、摄影、工业设计等多个领域，具备落地实战经验。
海艺 AI 还专注于自研模型的研究和发展，已经成功推出了自研模型——海艺 2.0 和海艺 2.1 以及海艺实验室，并且聚合多家国际优秀模型团队交流合作，全面提升模型的出图质量。在未来，随着人工智能技术的不断进步和应用领域的拓展，海艺 AI 将为更多的用户带来更加丰富和高效的 AI 艺术体验。
海艺 AI 作为一款国产AI绘画工具，具备业内领先的模型数据资产，包括底模（8k+）、LoRA（1w+）、ControlNet（15+）组合。对于用户侧多样的请求，海艺 AI 需要一套高效且具备性价比的解决方案来构建用户服务推理集群，不仅需要考虑单点推理性能极致优化的基础上，还需要进一步优化端到端多样模型组合的调度与读写能力。
阿里云在单点推理性能上，为海艺 AI 提供了神行工具包（DeepGPU），大幅提升了 GPU 实例的负载性能。DeepGPU 是阿里云专门为 GPU 云服务器搭配的 GPU 计算服务增强软件工具集合。DeepGPU 相较原生 PyTorch 推理性能提升2.5-6 倍，相较社区级领先框架 xFormers推理性能提升 1.5-2.3 倍。
在此基础上，对端到端场景，针对模型调度和读写瓶颈，阿里云还提供了ACK AI 套件的 Fluid 组件 的分布式缓存方案及 OSS 加速器的方案。Fluid 组件重点是在推理节点内存内增加分布式的模型 cache 层，层内根据 Fluid 组件可用 cache 扩缩动态根据 LRU 替换热点模型，以提高模型读写能力。OSS加速器则更加简单稳定，提供更强的OSS吞吐能力来保障模型读写能力。
从全链路出图效率角度来看，原来的方案海艺 AI 的出图峰值性能在 8-10s+，平均出图在 20s+，遇到队列等待出图延迟可能上升至分钟级。而阿里云的 DeepGPU 方案，帮助海艺 AI 的推理耗时提升至 3.95s，模型切换无感，LoRA 切换无感，对比原架构的 8-10s 性能提升 50% 以上，端到端性能考虑模型读取，增加 1-2s 延迟，整体提升依然在 50% 以上。