肖恩·霍利斯特 (Sean Hollister) 透過 The Verge 報導： Nvidia 必備的 H100 AI 晶片使其成為一家價值數萬億美元的公司，其價值可能超過 Alphabet 和亞馬遜，而競爭對手正在奮力追趕。但也許 Nvidia 希望透過其新的 Blackwell B200 GPU 和 GB200「超級晶片」進一步擴大其領先地位。 Nvidia 表示，新的B200 GPU 透過2,080 億個電晶體提供高達20 petaflops 的FP4 匹馬力，而配備這兩款GPU 和單一Grace CPU 的GB200 可為LLM 推理工作負載提供30 倍以上的功率，同時可能顯著提高性能。高效的。 Nvidia 表示，與 H100 相比，它「成本和能耗降低了 25 倍」。
據 Nvidia 稱，訓練 1.8 兆個參數模型之前需要 8,000 個 Hopper GPU 和 15 兆瓦的功率。如今，Nvidia 執行長表示 2,000 個 Blackwell GPU 就可以做到這一點，而功耗僅為 4 兆瓦。 Nvidia 表示，在 1,750 億參數的 GPT-3 LLM 基準測試上，GB200 的效能是 H100 的 7 倍，訓練速度快 4 倍。 Nvidia 告訴記者，關鍵改進之一是其第二代Transformer 引擎，該引擎透過為每個神經元使用4 位而不是8 位，使計算、頻寬和模型大小加倍。（即我之前提到的FP4 的20 petaflops）。 第二個重要的差異僅在連接大量 GPU 時才變得明顯。它是下一代 NVLink 交換機，允許 576 個 GPU 相互通信，具有每秒 1.8 TB 的雙向頻寬。 Nvidia 表示，要做到這一點，它必須建造一個全新的網路交換晶片，擁有 500 億個電晶體和一些自己的板載運算：3.6 teraflops FP8。 參考： Nvidia 正在洽談收購 AI 基礎設施平台 Run:ai
