「AI工廠」的「極致協同設計」是什麼?將帶來哪些效益?
Answer
AI工廠的「極致協同設計」解析
輝達(NVIDIA)執行長黃仁勳在GTC大會上提出的「極致協同設計」(Extreme Co-Design)是AI工廠的核心技術。這種設計理念強調將晶片、伺服器與網路進行一體化設計,從而大幅提升效能並降低成本。透過這種整合,輝達旨在打造更高效能的AI生產線,以滿足生成式AI快速增長的運算需求。
極致協同設計的具體實踐
在實踐中,「極致協同設計」體現在NVLink 72高速互連系統。該系統能夠讓72顆Blackwell GPU或144個GPU在同一機櫃中協同運作,總頻寬達到驚人的130TB/s,相當於全球網路高峰流量。這種高效互連不僅提升了運算速度,還顯著降低了每token的成本,使得AI工廠在效能和經濟效益上都能達到最佳狀態。
極致協同設計帶來的效益
- 效能提升:一體化設計能夠充分發揮各硬體組件的潛力,使整體效能提升約10倍。
- 成本降低:透過優化設計和高效互連,每token的成本可降低至原來的1/10。
- 加速AI部署:AI工廠的量產部署將加速各產業的AI應用,推動AI技術的普及。
- 產業鏈重塑:輝達正積極強化「美國製造」產業鏈,從晶圓製造到系統組裝都在美國本土完成,有助於提升美國在AI領域的競爭力。
極致協同設計的長遠影響
「極致協同設計」不僅是輝達在技術上的突破,也代表著AI基礎設施發展的新方向。隨著AI工廠的量產部署,各行各業將能更有效地利用AI技術,推動創新並提升效率。同時,輝達透過跨界結盟,將AI技術應用於6G、自駕與企業決策等領域,進一步擴大了AI的應用範圍,為未來的科技發展帶來了更多可能性。