模型迭代速度為何導致AI新創的算力成本持續上升? | 數位時代

大語言模型成本下降與 AI 新創營運成本攀升的矛盾

儘管大語言模型 (LLM) 的成本持續下降,AI 新創的營運成本卻不斷攀升,這看似矛盾的現象背後有多重原因。AI 新創的營運模式不只依賴底層大模型,還包括 API 介面、用戶體驗,以及重度用戶的需求等,這些因素共同作用,導致成本結構複雜化。

脆弱的 API 介面層與單位經濟困境

AI 新創多為「高科技中間商」,透過 API 接口向供應商購買運算資源,再將服務包裝成工具出售。這種模式的脆弱性在於,一旦底層模型供應商調整 API 價格或推出更強大的功能,AI 新創便會陷入兩難。AI 新創的成本結構是「指令次數 × (輸入 token 成本+輸出 token 成本)」,其中 token 成本波動大,導致單位經濟難以維持。

重度用戶的「原罪」與定價模式的漏洞

AI 應用新創面臨的另一個挑戰是重度用戶佔比過高。超重度用戶消耗大量 token,舊的固定價格模式可能導致虧本銷售。為了解決這個問題,AI 新創正在嘗試採用「按次數搭配權力用戶保障」的混合模式,以維持盈利能力。

模型選擇與算力需求

大語言模型的成本雖然持續下降,但同時也不斷出現新的、更好的模型。為了追求更好的效果,用戶傾向於選擇最好的模型,而這些模型需要更多的算力,導致成本持續上升。除非晶片層級發生改變,否則這個趨勢難以逆轉。AI 輔助軟體開發市場具備巨大潛力,AI 應用層新創必須在模型能力、開發者體驗、成本效益、安全合規等方面建立不可替代的價值。能夠在保持用戶定價簡單性的同時,圍繞重度用戶消費建立可持續經濟模型的公司,將成為市場的贏家。


This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容