目录
引言
AI应用所涉及的技术能力包括语音、图像、视频、NLP、知识图谱等,所有的这些AI技术都需要强大的计算资源来支撑。现在,很多企业内部都拥有一定规模的GPU计算能力,构成AI的算力基础。
AI技术对算力的需求是无止境的,我们需要用各种各样的方法来增强算力。首先是单体GPU卡的算力增强,从K系列、P系列、V系列再到最新的A系列,随着NVIDIA GPU卡的迭代,单个GPU卡的计算能力在持续提升。不过,单个GPU的能力再强也是有极限的。
因此,算力的持续增强需要多GPU卡组合。这就需要GPU之间有超强的通信支持。
一、单机内部GPU的通信
1、GPUDirect
实现单机内部GPU之间高速通信最大的挑战是数据经过主机CPU的开销和内存拷贝的延迟。为了解决这个问题,NVIDIA从2010年6月开始推广并使用GPU Direct技术,并持续演进。NVIDIA GPUDirect 是一系列技术集合,旨在优化 GPU 之间 (P2P) 或 GPU 与第三方设备 (RDMA) 之间的数据传输。
①、2010年,GPUDirect Shared Memory,支持GPU与第三方PCI Express设备(网卡、存储等)通过共享pin住的host memory实现共享内存访问从而加速通信。

从上图对比可以看到,在没有使用GPUDirect情况下,GPU需要将数据从显存复制到GPU驱动在系统内存中pin住的Memory 1,再从Memory 1复制到Memory 2,之后才能再做进一步传输。
使用了GPUDirect Shared Memory之后,内存空间实现了共享,减少了一次数据复制,降低了数据交换延迟。
②、2011年,GPUDirect P2P(Peer-to-Peer),增加了同一PCI Express总线上的GPU之间的Peer to Peer(P2P) Direct Access和Direct Transers的支持。

如图所示,在同一PCI Express总线上,P2P支持GPU之间直接互访显存,不需要将数据复制到系统内存进行中转,进一步降低了数
284



被折叠的 条评论
为什么被折叠?



