来自：https://www.bilibili.com/video/BV1gT411J7SE/?spm_id_from=333.337.search-card.all.click&vd_source=3b73a21c3f8d922f85cb6d54ab274d2c

1. GPU的功能

GPU 的几层架构：

2. 为什么需要虚拟化

3. 虚拟化分类

4. 虚拟化技术实现

4.1 用户层虚拟化

本地api拦截和api forwarding ，也就是常说的 cuda劫持类似。用户调用的事 wrapper ，wrapper 拦截处理后调用底层api

• 本地劫持

• 远程forwarding （类 阿里云EAIS）GPU 池化

如：亚马逊的 Elastic GPU

4.2 内核层虚拟化

• 适合容器调用

• 适合虚机

4.3 GPU硬件虚拟化

• nvidia vGPU方案 ，（GRID驱动）

• NVDIA MIG 硬件切分方案，切出来后可以单独绑定，直接使用

5. 总结对比

算力损耗：

• 低 5% 以内

• 中 10% 左右

算力共享技术：

• 时分：时间片轮转来达到算力共享

• 空分：硬件层面做切分