過去在人工智慧主要應用於如聊天機器人等領域時，CPU 的角色定位相對輔助，主要負責初步資料處理後，便將任務轉交給 GPU 進行繁重的推理運算。然而，隨著 AI 科技的不斷演進，AI 代理開始嶄露頭角，它們能夠執行更為複雜的任務，例如任務拆解、流程安排和資源調度等。由於這些工作高度依賴 CPU 的處理能力，使得 CPU 的重要性日益提升，不再僅僅是配角，而是逐漸成為 AI 代理運作的核心。
AI 代理的運作模式與傳統 AI 應用有著顯著的不同。AI 代理需要將複雜的任務拆解為多個子任務，並協調多個代理共同執行這些子任務。在此過程中，可能還會涉及工具呼叫、資料庫查詢、程式編寫與執行，以及自我反思與修正等步驟。這些任務的安排、資源的調度和系統的互動，幾乎都由 CPU 負責。相關研究顯示，在 AI 代理的工作負載中，CPU 可能佔據整體延遲的過半比例，從而成為影響效率的關鍵因素。
與聊天機器人在短時間內完成推理或訓練任務不同，AI 代理需要長時間運作，甚至同時啟動多個任務流程。舉例來說，OpenAI 創始成員 Andrej Karpathy 曾發表自動研究代理 AutoResearch，它需要持續運行一整晚甚至更長時間才能完成任務。Anthropic Claude Code 產品負責人 Boris Cherny 也分享，他在日常工作中會同時開啟多個 Claude Code AI 代理來編寫程式。這種長時間、大規模的 AI 需求，直接推升了對 CPU 的需求，也讓 CPU 的耐久性成為一項重要的優勢。
隨著 AI 能力的關鍵從生成答案的準確度，轉變為實際完成任務的能力，整體效能不再僅僅取決於單一晶片，而是取決於整個系統的協同運作。在這種架構下，GPU 仍然負責高強度的推理計算，但 CPU 則成為串聯各個環節的中樞，負責決定何時呼叫模型、如何分配任務、以及如何與外部世界互動。值得注意的是，輝達近年也開始強化自家 CPU 產品，甚至推出不搭載 GPU 的純 CPU 伺服器配置，Vera CPU 便是一款輝達專為 AI 代理工作負載所打造的次世代處理器。
在 AI 從訓練走向推理，再進一步邁向代理化的過程中，CPU 不再只是輔助角色，而是支撐整個系統運作的基礎設施。當 AI 從被動回應問題的工具，演變為能主動執行任務的代理，運算需求也從比拼爆發力的短跑，轉變為重視長時間運轉效能的馬拉松。儘管 GPU 仍然是 AI 浪潮中最耀眼的明星，但真正影響 AI 能否落地的，則是 CPU 這個一度被忽視，如今再次變得不可或缺的關鍵組件。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容