「思維鏈」（Chain of Thought, CoT）提示法之所以有效，核心在於降低大型語言模型（LLM）在生成答案時的不確定性。LLM 的「思考」模式可視為在由訓練資料構建的「知識地圖」（幾何流形）上行走。這個地圖是模型從海量資料中學習而來的，CoT 的關鍵就在於引導模型沿著這張地圖上清晰、安全的「路徑」前進，以減少「幻覺」的產生。
CoT 提示法利用了資訊熵與預測熵之間的關係。資訊熵指的是提示中所包含的資訊量，而預測熵則是指模型輸出的不確定性。高資訊熵的提示（例如提供詳細的背景資訊或情境）有助於降低預測熵，使模型更容易產生準確的結果。反之，低資訊熵的提示可能導致模型輸出多樣且難以預測。以數學計算為例，直接要求 LLM 計算複雜算式會導致高預測熵，但若將問題拆解為多個步驟，每一步驟都是低熵任務，模型就能更準確地得出答案。
CoT 提示法的實用價值在於，它提醒我們在使用 LLM 時，應盡可能提供具體的上下文資訊，或將複雜任務分解為更小的、模型更熟悉的步驟。這樣做可以有效地約束 LLM 在其「知識地圖」上的路徑，使其能夠在低熵的狀態下運行，從而提高輸出結果的可預測性與準確性。換言之，越清晰的指令，越能引導 LLM 走向正確的答案，減少其「胡說八道」的可能性。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容