隨著人工智慧 (AI) 技術的演進,AI 的運作模式正從過去被動式回應,轉變為主動執行任務的代理模式。在這樣的轉變下,中央處理器 (CPU) 的角色也隨之改變,不再僅僅是輔助圖形處理器 (GPU) 運算的配角,而是成為支撐整個 AI 系統運作的基礎設施。AI 代理需要長時間運作,甚至同時啟動多個任務流程,因此對 CPU 的效能與穩定性提出了更高的要求。
在傳統的 AI 應用中,CPU 主要負責初步的資料處理,然後將任務交由 GPU 進行繁重的推理運算。然而,在 AI 代理的工作負載中,CPU 佔據整體延遲的過半比例,成為影響效率的關鍵因素。AI 代理需要執行複雜的任務,例如將大型目標拆解為多個子任務,並協調不同的代理協同工作。這些任務的安排、資源的調度,以及系統的互動,主要都由 CPU 負責。
為了解決 CPU 在 AI 代理時代可能面臨的效能瓶頸,輝達 (NVIDIA) 推出了專為 AI 代理工作負載設計的 Vera CPU,以及不搭載 GPU 的純 CPU 伺服器配置。此舉反映了輝達在 AI 晶片戰略上,已從過去單純強調 GPU 效能,轉向更全面的系統架構考量。在 AI 代理的運作中,CPU 負責決定何時呼叫模型、如何分配任務,以及如何與外部世界互動,成為連接各個環節的中樞。
輝達推出 Vera CPU,並非意味著 GPU 的重要性降低,而是意識到在 AI 代理時代,CPU 扮演著至關重要的角色。相較於傳統 AI 應用,AI 代理更強調長時間運轉的效能與穩定性。一般而言,CPU 在耐久性方面具有優勢,能更好地滿足 AI 代理對於長時間運算的需求。這也意味著,AI 晶片戰略也從過去單純強調 GPU 效能的「GPU 思維」,轉向更重視 CPU 在系統架構中角色的「系統架構考量」。
當 AI 從被動回應問題的工具,演變為主動執行任務的代理,運算需求也從比拼爆發力的短跑,轉變為重視長時間運轉效能的馬拉松。OpenAI 創始成員 Andrej Karpathy 曾提出的自動研究代理 AutoResearch,以及 Anthropic Claude Code 產品負責人 Boris Cherny 分享的多個 Claude Code AI 代理協同編寫程式的案例,都顯示 CPU 在長時間、大規模的 AI 任務中扮演著關鍵角色。因此,輝達的策略轉向,預示著 AI 發展的未來趨勢。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容