為何說AI時代已進入「推理」而非僅是「訓練」的階段？

AI時代從訓練走向推理的轉變

Google 最新發布的第七代 TPU Ironwood，其核心目標是將 AI 戰場從上半場的「訓練賽」轉移到下半場的「應用賽」。在過去，AI 模型的訓練是重點，NVIDIA 的 GPU 在此領域佔據主導地位。然而，隨著 AI 技術的發展，模型推理（Inference）的重要性日益增加。這意味著，AI 的應用不再僅僅依賴於前期的大量訓練，更重要的是如何高效地將訓練好的模型應用於實際場景，解決用戶的實際問題。

Ironwood 的技術優勢與戰略意義

Ironwood 單晶片的浮點運算性能達到 4.6 PetaFLOPS，可將多達 9,216 顆 Ironwood 晶片組成一個總算力高達 42.5 ExaFLOPS 的超級運算集群。這種「暴力美學」般的擴展能力，顯示 Google 正在組建一支由近萬名基因改造士兵組成的羅馬軍團，以規模和效率取勝。Google 承認在「訓練」方面 NVIDIA 已經領先，但強調真正的決戰在於「推理」。Ironwood 的設計目標正是為了大規模、高效率、低成本地進行推理。

Google 的垂直整合策略與市場認可

Google 採取了垂直整合的策略，從底層的 Ironwood 晶片設計，到中層的 Jupiter 數據中心網絡，再到上層的 JAX、TensorFlow 等軟體框架，實現了軟硬體的完美協同。Anthropic 選擇將其 Claude 模型的未來規模化部署押注在 Ironwood 上，這筆高達 100 萬顆 Ironwood TPU 的訂單，是對 Google 策略的有力背書。Anthropic 作為 OpenAI 的競爭對手，此舉無疑是對 Google 在「推理」戰場上潛力的肯定。