根據 Anthropic 的說法，長時間延續大型對話工作階段為何會導致 token 大幅消耗，建議的解決方案是什麼？

Question

大型對話工作階段與 Token 消耗的關係

Accepted Answer

長時間延續大型對話工作階段之所以會導致 token 消耗大幅增加，核心原因在於上下文資訊的累積效應。隨著對話不斷進行，模型需要處理的資訊量也隨之增加，包括先前的問題、回答，以及任何相關的程式碼或檔案內容。每次運算時，模型都必須將這些累積的上下文資訊納入考量，這意味著需要處理的 token 數量會持續膨脹，進而導致 token 消耗量顯著提升。

閱讀記錄

隱藏 →

此為暫時記錄，會在關閉頁面後消失

根據 Anthropic 的說法，長時間延續大型對話工作階段為何會導致 token 大幅消耗，建議的解決方案是什麼？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

2

0

0

分享給好友