輝達(NVIDIA)執行長黃仁勳在 GTC 大會上強調的「AI 工廠」概念,正在從根本上改變傳統資料中心的運作模式,並對企業的 IT 架構帶來深遠影響。AI 工廠指的是專為 AI 工作負載設計的基礎設施,它不僅僅是傳統資料中心的升級,而是一種全新的運算模式。由於生成式 AI 對運算的需求遠超傳統應用,AI 工廠的出現標誌著企業需要重新思考其 IT 基礎設施的建置和管理方式。
傳統資料中心主要處理通用型的運算任務,而 AI 工廠則專注於加速 AI 模型的訓練和推論。這意味著 AI 工廠需要更高的運算密度、更快的網路速度和更高效的能源利用。輝達透過「極致協同設計」,將晶片、伺服器和網路進行一體化設計,使效能提升約 10 倍,每 token 成本降至 1/10。這種高度整合的設計不僅提高了運算效率,也降低了整體擁有成本。NVLink 高速互連系統可讓大量的 GPU 在同一機櫃中協同運作,提供極高的頻寬,這對於需要大量資料處理的 AI 應用至關重要。
AI 工廠的量產部署不僅改變了資料中心的硬體配置,也影響了企業的 IT 架構。企業需要重新評估其在 AI 領域的投資策略,並考慮如何將 AI 工廠整合到現有的 IT 環境中。這可能包括:
此外,AI 工廠的部署也可能促使企業採用新的 IT 管理模式,例如基礎設施即程式碼(Infrastructure as Code)和自動化部署,以提高 IT 運作的效率和靈活性。透過與諾基亞、Uber 和 Palantir 等公司的合作,輝達正在將 AI 應用拓展到通訊、自駕和企業決策等領域,這也意味著企業需要重新思考其 IT 架構如何支援這些新的 AI 應用場景。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容