自行訓練 330 億參數 AI 模型的主要成本組成有哪些？

訓練 330 億參數 AI 模型的主要成本組成

自行訓練一個擁有 330 億參數的大型 AI 模型，主要成本來自於運算資源、時間、電力消耗以及專業技術人員的投入。根據 Yahoo 財經的報導，這項花費可能超過新台幣 1000 萬元。

高性能硬體設備

訓練大型語言模型需要高性能的硬體設備，例如 GPU (圖形處理器) 或 TPU (張量處理器)。這些硬體設備的採購和維護成本相當高昂。此外，還需要大量的記憶體和儲存空間來處理和儲存訓練數據。

電力消耗與技術人員成本

訓練 AI 模型需要大量的電力，尤其是在長時間的訓練過程中。電力成本是另一個不可忽視的支出。另外，還需要聘請專業的 AI 工程師和數據科學家來設計、實施和優化訓練過程，這些專業技術人員的薪資也是一筆可觀的費用。群聯電子的 aiDAPTIV+ 方案能將建置成本大幅降低至新台幣 100 萬元以下，顯示自行訓練的成本確實相當高昂。