思維鏈 (CoT) 的運作方式如何導致 ChatGPT Pro 的成本居高不下? | 數位時代

思維鏈(CoT)如何影響 ChatGPT Pro 的成本?

OpenAI 的 ChatGPT Pro 即使每月收費 200 美元,仍難以實現盈利,其中一個關鍵因素是其底層模型 o1 的運作方式,特別是「思維鏈」(Chain of Thought, CoT)技術。相較於傳統的大型語言模型,o1 模型使用 CoT 方法將複雜問題分解為多個步驟,然後逐步生成答案。雖然使用者最終只看到最終結果,但實際上,CoT 產生了更多的 token,這些 token 是大型語言模型中對詞語的編碼方式。

CoT 增加運算資源的需求

由於 CoT 需要將問題分解為多個步驟,因此生成回應的過程需要更長的時間,並長時間佔用 GPU 等硬體資源。這意味著,即使使用者只提出一個問題,系統為了產生最終答案,實際上需要進行多次的運算和處理,進而導致營運成本大幅增加。因此,CoT 的使用雖然提升了 ChatGPT Pro 的回答品質和準確性,但也直接推高了其運營成本。

OpenAI 的營利挑戰與未來展望

OpenAI 在轉型為公益公司(Public Benefit Corporation, PBC)後,面臨著平衡服務品質、使用者需求和營運成本的挑戰。CoT 技術的引入雖然提升了服務的價值,但也增加了實現盈利的難度。OpenAI 未來可能會考慮調整 ChatGPT Pro 的訂閱費用或使用權限,以尋求更可持續的商業模式,或者將成本分散到更多的使用者身上,以應對高昂的運營成本。


This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容