NVIDIA即将在Hot Chips 2024大会上深入探讨其最新的Blackwell GPU架构。这一架构不仅代表了AI计算的新高度,还创下了单个GPU中最高AI计算、内存带宽和互连带宽的记录。
Blackwell GPU架构的一个显著特点是它将两个受光罩限制的GPU合并为一个。在半导体制造中,光罩限制意味着集成电路的最大尺寸约为800平方毫米。NVIDIA通过这种方式,在一个芯片中集成了1040亿个晶体管,总计2080亿个晶体管。
除了庞大的晶体管数量,Blackwell B200还具备20 PetaFLOPS FP4 AI性能,以及高达192GB的HBM3E内存和8TB/秒的内存带宽。此外,它还通过NVLink实现了1.8TB/秒的双向带宽,并通过高速NVLink-C2C链接到Grace CPU。这些技术规格使得Blackwell GPU在AI计算领域具有极高的性能和效率。
NVIDIA在Hot Chips 2024上的讨论将涵盖如何达到光罩限制,以及如何实现最高的通信密度、最低的延迟和最佳的能源效率。这一架构的推出,无疑将进一步巩固NVIDIA在AI计算领域的领先地位。