基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
如果使用 gpu设备推理，则 gpu_id可以指定模型运行的 gpu 卡。示例中的[0]表示使用 0号 gpu。60 企业上云实践 基于弹性计算的 AI推理|部署飞天 AI加速推理工具的 demo 4.8.4.部署用户模型 以 TensorFlow resnet50为例，介绍从拿到模型开始，到使用 Perseus Inference推理 框架完成模型的配置和部署。步骤1 下载 TensorFlow ...
- 产品推荐
- 这些文档可能帮助您