黃仁勳預告的AI推理新時代是什麼? | 數位時代

AI推理時代來臨與Token生成需求爆發

輝達創辦人黃仁勳預告,AI推理的轉折點已經到來,Token生成的需求正在快速攀升。全球各界正積極投入AI工廠的建設,以滿足市場對於AI算力的龐大需求。輝達正透過與Marvell等夥伴的合作,擴大其AI基礎設施生態系,並將客製化的AI運算能力推向更廣泛的應用場景。

輝達與Marvell策略合作強化AI基礎設施

輝達與ASIC晶片商Marvell建立策略合作關係,並對Marvell投資20億美元,旨在強化AI資料中心與電信網路基礎設施的布局。雙方將透過NVLink Fusion平台整合技術,企業可在輝達既有架構上,導入Marvell提供的客製化XPU與網路解決方案,打造更具彈性與客製化的AI基礎設施。Marvell將負責提供客製化運算晶片(XPU)與相容NVLink Fusion的scale-up網絡,而輝達則提供完整基礎架構,包括Vera CPU、ConnectX網卡、BlueField DPU、NVLink互連與Spectrum-X交換器等。

NVLink Fusion開放架構加速AI客製化

NVLink Fusion是輝達設計的高速晶片互連技術,旨在讓機架內的晶片高速交換資料。透過將這套互連架構部分開放,第三方業者可以在相容架構下導入自製晶片(如XPU),打造半客製化的AI系統,同時仍維持與輝達GPU與整體生態系的相容性。Marvell董事長暨執行長墨非(Matt Murphy)認為,透過NVLink Fusion,能將Marvell在高效能類比、光學DSP、矽光子與客製化晶片的技術優勢,與輝達不斷擴展的AI生態系結合,讓客戶能建構具備擴展性與效率的AI基礎設施。

平台化策略鞏固輝達AI生態系主導地位

面對AI算力需求快速成長,輝達並非單純強化GPU,而是轉向平台化布局。透過將NVLink升級為NVLink Fusion,並投資Marvell等夥伴,引入更多方案的半客製化晶片與光互連能力,輝達正在將原本可能與其競爭的ASIC路線納入自身體系。分析師Jacob Bourne指出,這讓輝達的生態系納入更多專用型晶片,使其在面對日益多元的AI工作負載時,仍能維持作為關鍵入口的地位。

輝達擴大投資鞏固AI基礎設施

輝達持續向AI基礎設施關鍵環節「大額下注」,擴大其在算力、網路與光互連等領域的影響力。除了對OpenAI高達1000億美元的合作投資,以及投資英特爾50億美元外,輝達還以20億美元的相同價碼,投資EDA大廠新思科技、光子技術公司Lumentum與Coherent,以及AI雲端服務公司Nebius。這些投資顯示,輝達正積極布局AI基礎設施相關產業,以鞏固其在AI領域的領導地位。


This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容