jjzjj

揭秘ChatGPT背后天价超算!上万颗英伟达A100,烧光微软数亿美元

ChatGPT能成为如今火遍全球的顶流模型,少不了背后超强的算力。数据显示,ChatGPT的总算力消耗约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天)。那么,作为依托的那台微软专为OpenAI打造的超级计算机,又是如何诞生的呢?周一,微软在官博上连发两文,亲自解密这台超级昂贵的超级计算机,以及Azure的重磅升级——加入成千上万张英伟达最强的H100显卡以及更快的InfiniBand网络互连技术。基于此,微软也官宣了最新的NDH100v5虚拟机,具体规格如下:8个NVIDIAH100TensorCoreGPU通过下一代NVSwitch和NVLink4.0互联每个GPU