HBF（高頻寬快閃）作為一種專為人工智慧（AI）運算設計的新型記憶體架構，其核心技術目標在於解決記憶體讀寫速度與容量無法跟上 GPU 效能的「記憶體牆」瓶頸。它旨在通過將大量快閃記憶體堆疊在 GPU 附近，形成一個「大容量、中速」的近端資料倉儲，作為 HBM 的補充，提供更大的容量和更低的成本。
HBF 的結構與 HBM 相似，都採用多層晶粒垂直堆疊並使用矽穿孔（TSV）高速連接的技術。不同之處在於，HBM 堆疊的是 DRAM，而 HBF 堆疊的是 NAND Flash（快閃記憶體）。HBF 通過這種方式，讓常用的 AI 大型知識庫能夠儲存在 GPU 附近，並根據需要高速提供給 HBM 與 GPU，從而減少等待時間並優化推論流程。
在未來的 AI 系統中，HBM 主要負責處理熱資料和算子附近的高速快取，而 HBF 則承載大型模型的主體，將超大型權重和常用知識近存於 HBF，再由 HBM 作為快取層按需抽取，加速餵給 GPU。這種分工合作能夠更合理地分配記憶體資源，使 AI 系統從「單一高成本記憶體硬撐」轉向更具成本效益的金字塔結構。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容