生成式 AI 和大型語言模型（LLM）的快速發展，極大地推動了企業對 GPU 管理的需求。這些模型需要大量的計算資源進行訓練和推論，因此高效的 GPU 管理變得至關重要。企業需要優化 GPU 的使用效率，確保資源能夠被合理分配，以支持 AI 應用的開發和部署。
Run:ai 是一家專注於 GPU 虛擬化和調度技術的公司，其核心技術基於 Kubernetes（K8s）的容器管理機制。透過 GPU 虛擬化與分割技術，Run:ai 能夠將一個完整的 GPU 劃分為多個小單位，供不同任務同時使用，從而避免資源浪費。此外，Run:ai 的 GPU 池化技術允許將多個 GPU 組合為一個虛擬資源共享池，專供大型 AI 任務使用，任務完成後系統會自動釋放資源。
NVIDIA 在 2024 年 12 月以 7 億美元收購 Run:ai，顯示了其對 GPU 管理和調度技術的高度重視。隨著生成式 AI 和 LLM 的普及，企業對 GPU 的管理需求日益迫切。NVIDIA 計劃開放 Run:ai 的技術，使其不僅限於 NVIDIA 的 GPU 平台，還能應用於 AMD 和 Intel 等其他硬體製造商的產品，從而擴大 NVIDIA 在 AI 基礎設施領域的影響力，並為客戶提供更全面的解決方案。此舉旨在優化 GPU 的使用效率，並將其技術擴展到更廣泛的硬體平台，進一步鞏固 NVIDIA 在 AI 領域的領導地位。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容