NV Switch 作為一個交換機，其主要作用是擴展 NVLink 的連接能力，使得更多的 GPU 可以通過 NVLink 互連，從而構建更大規模的加速運算系統。傳統的 PCIe 介面在多 GPU 運算中存在頻寬瓶頸，而 NVLink 則透過直接連接 GPU，大幅提升資料傳輸速率。NV Switch 的加入，使得可以實現更複雜的 GPU 拓撲結構，並在多個 GPU 之間實現更高效的資料共享和協同運算。
NVLink 技術通過提供高速、高頻寬的 GPU 互連，有效克服了傳統 PCIe 介面在多 GPU 協作時產生的瓶頸。PCIe 介面在多 GPU 運算中容易因頻寬限制而影響資料傳輸速度，進而降低整體運算效能。NVLink 則直接連接 GPU，大幅提升了資料傳輸速率，使得 GPU 之間可以更快速地共享資料和協同運算。這對於需要大量 GPU 協同工作的應用，如大型 AI 模型訓練、科學模擬等，至關重要。
在實際應用中，NVLink 和 NV Switch 的優勢體現在需要大規模 GPU 協同運算的場景中。例如，在擁有 700 億參數的 Llama2 模型推論時，NVLink 和 NV Switch 的協同作用能顯著提升運算速度，幾乎達到 H100 的兩倍。輝達最新的 HGX H200 晶片也受益於 NVLink 技術，使得多個 GPU 能夠協同工作，以加速 AI 模型的訓練和推論過程。這些實際案例充分展示了 NVLink 如何克服 PCIe 介面的瓶頸，提升多 GPU 系統的整體效能。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容