机器学习PAI_模型推理优化Blade

Blade通用AI推理加速器

Blade是PAI推出的通用推理优化工具，可以通过模型系统联合优化，使模型达到最优推理性能。

方案优势

Blade的所有优化技术均面向通用性设计，可以应用于不同的业务场景，同时对每一步优化的数值结果都进行了准确性验证，从而确保优化结果不会对模型的精度或指标产生非预期影响

多框架

支持主流的机器学习框架，包括 Tensorflow、PyTorch 等

多设备

支持主流加速设备：GPU、CPU、端侧设备

能力强

支持计算图优化、厂商优化库、AI编译优化、Blade高性能算子库、混合精度及Auto-Compression等多种优化技术

易用性

提供 Python 优化包，调用一个接口即可完成模型优化；与 PAI-EAS 深度集成，优化过程无缝嵌入模型上线流程

多框架

多设备

能力强

易用性

Blade 模型优化

Blade的所有优化技术均面向通用性设计，可以应用于不同的业务场景，同时对每一步优化的数值结果都进行了准确性验证，从而确保优化结果不会对模型的精度或指标产生非预期影响

方案能力

通用性

采用面向通用性的设计，适用于主流深度学习框架和各类深度学习模型。

效果好

经过大量真实业务打磨验证，具有显著的优化效果。

易部署

提供Python和C++ SDK，无需代码改造即可集成，也与PAI-EAS无缝集成。