Google

三圖看清 TPU Vs NVIDIA

Google 把 TPU 和光學交換 (OCS)、資料中心網路一起設計，TPU Pod / AI Hypercomputer 可以提供極高的叢集帶寬與低延遲通訊，對大模型分布式訓練與推論特別有利。
這種「晶片＋網路＋機架一體設計」降低了多機同步開銷，使得在數千顆 TPU 上做 data / model parallel 相對簡化，對超大規模模型（Gemini 級別）非常關鍵。