【Hello AI】GPU容器共享技术cGPU

【Hello AI】GPU容器共享技术cGPU

GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡,从而实现业务的安全隔离,提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU兼容性好不仅适配标准的Docker和Containerd工作方式,而且还无缝兼容Kubernetes工作方式。操作简...

技术改变AI发展:RDMA能优化吗?GDR性能提升方案(GPU底层技术系列二)

技术改变AI发展:RDMA能优化吗?GDR性能提升方案(GPU底层技术系列二)

背景GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术,可以让使用pcie标准的gpu和第三方设备进行直接的数据交换,而不涉及CPU。传统上,当数据需要在 GPU 和另一个设备之间传输时,数据必须通过 CPU,从而导致潜在的瓶颈并增加延迟。使用 GPU...

技术改变AI发展:CUDA Graph优化的底层原理分析(GPU底层技术系列一)

技术改变AI发展:CUDA Graph优化的底层原理分析(GPU底层技术系列一)

CUDA 异步执行模型对于GPU运算集中的AI应用场景,为了提升系统的性能,最大化地利用GPU资源是一个重要的优化方向。比较常用的方式是尽量将GPU运算转换为异步操作,CPU侧负责任务提交,保证有足够的cuda kernel发送到GPU,GPU按照CUDA Stream...

便捷、快速、稳定、高性能!以 GPU 实例演示 Alibaba Cloud Linux 3 对 AI 生态的支持 | 龙蜥技术

便捷、快速、稳定、高性能!以 GPU 实例演示 Alibaba Cloud Linux 3 对 AI 生态的支持 | 龙蜥技术

编者按:日前,Alibaba Cloud Linux 3 为使 AI 开发体验更高效,提供了一些优化升级,本文为“Alibaba Cloud Linux 3 AI 能力介绍”系列文章预告篇,以 GPU 实例为例,为大家演示 Alibaba Cloud Linux 3 对 AI 生态的支持。接下来还将...

当模型增长,GPU的显存常常成为训练大模型的瓶颈。EPL提供了多维度的显存优化技术,具体有哪些呢?

当模型增长,GPU的显存常常成为训练大模型的瓶颈。EPL提供了多维度的显存优化技术,具体有哪些呢?

GPU 热升级技术是什么?

GPU 热升级技术是什么?

用尽每一寸GPU,阿里云cGPU容器技术白皮书重磅发布!

用尽每一寸GPU,阿里云cGPU容器技术白皮书重磅发布!

作者:阿里云异构计算高级技术专家 何旻 背景 云原生已经成为业内云服务的一个趋势。在云原生上支持异构计算,这个功能在标准的Docker上已经可以很好的支持了。为了进一步提高GPU的利用率、避免算力浪费,需要在单个GPU上可以运行多个容器,并且在多个容器间隔离GPU应用,这在标准的Docker上是无法...

用尽每一寸GPU,阿里云cGPU容器技术帮助人工智能提效降本

用尽每一寸GPU,阿里云cGPU容器技术帮助人工智能提效降本

人工智能已经深入影响各行各业,作为人工智能实现的主流实现路径,深度学习对算力的需求庞大且波动,上云已成主流趋势。 GPU是人工智能算力的重要来源。互联网及传统企业客户,只要有人工智能相关的业务,都需要租用GPU云服务器来做深度学习模型的训练与推理。 随着显卡技术的不断发展和半导体制程工艺的进步,单张...

提高GPU利用率,阿里云cGPU容器技术助力人工智能提效降本

提高GPU利用率,阿里云cGPU容器技术助力人工智能提效降本

发布会传送门 产品详情 人工智能已经深入影响各行各业,作为人工智能实现的主流实现路径,深度学习对算力的需求庞大且波动,上云已成主流趋势。 GPU是人工智能算力的重要来源。互联网及传统企业客户,只要有人工智能相关的业务,都需要租用GPU云服务器来做深度学习模型的训练与推理。 随着显卡技术的不断发展和半...

一起谈.NET技术,使用Brahma在GPU上执行LINQ

Brahma是一个用于并行计算的开源库,它由C#编写并支持在多种处理器上运行。目前,Brahma仅包含一个图形处理器(GPU)模块,但是它的模块化结构可以支持更多种类的处理器。使用Brahma,同一个C#方法中的语句可以同时运行在CPU和GPU上,而不需要额外的代码。 Brahma通过将LINQ语句...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

云服务器ECS
云服务器ECS
做技术先进、性能优异、稳如磐石的弹性计算!
418274+人已加入
加入
相关电子书
更多
端到端GPU性能在深度学学习场景下的应用实践
DeepStream: GPU加速海量视频数据智能处理
阿里巴巴高性能GPU架构与应用
立即下载 立即下载 立即下载