Google 第七代 TPU「Ironwood」為何將 AI 戰爭的重心從「訓練」轉向「推理」？

Google 第七代 TPU「Ironwood」：轉向 AI 推理的戰略意義

Google 最新發布的第七代 TPU「Ironwood」代表著 AI 發展重心從模型訓練轉向模型推理。在 AI 領域，模型訓練是構建 AI 模型的過程，而模型推理則是將訓練好的模型應用於實際場景，進行預測和決策。隨著 AI 技術的成熟和應用普及，模型推理的重要性日益凸顯，Google 希望透過 Ironwood 在這個新興領域取得領先地位。

Ironwood 的性能與架構設計

Ironwood 單晶片的浮點運算性能達到 4.6 PetaFLOPS，性能足以與 NVIDIA 的頂級 Blackwell 架構相媲美。更重要的是，Ironwood 具備卓越的擴展能力，可以將多達 9,216 顆晶片組成一個運算集群（Pod），總算力高達 42.5 ExaFLOPS。這種設計理念與 NVIDIA 有所不同。NVIDIA 傾向於打造由少量頂級 GPU 組成的「精英戰隊」，而 Google 則選擇構建由近萬顆晶片組成的「羅馬軍團」，強調規模化和高效率。這種大規模的架構設計，使得 Ironwood 在處理大規模推理任務時更具優勢。

Anthropic 的訂單與市場認可

Google 認為 AI 的上半場是模型訓練，NVIDIA 在這個領域已經佔據了主導地位。然而，AI 的下半場是模型推理，這是一個持續且規模更大的日常運營。Ironwood 的設計目標是實現大規模、高效率、低成本的推理。Anthropic 對 Ironwood 的大量訂單（100 萬顆 TPU）是對 Google 戰略的最有力支持，表明 Anthropic 相信 Google 的大規模架構在推理方面具有極高的擴展性和經濟效益。此外，Google 透過垂直整合，從晶片設計到數據中心網路和軟體框架，實現了軟硬體的完美協同，這也是其他公司難以比擬的優勢。