「提示工程」與傳統工程學在本質上有何不同？

「提示工程」與傳統工程學的本質差異：Vishal Misra 的觀點

美國哥倫比亞大學教授 Vishal Misra 對於「提示工程」(prompt engineering) 這個詞彙提出質疑，他認為稱之為「提示撥弄」(prompt twiddling) 更為貼切。Misra 的觀點源於他對大型語言模型 (LLM) 本質的理解，以及對當前 AI 研究方向的反思。

LLM 的知識地圖與貝氏推論

Misra 將 LLM 視為建構在從海量訓練資料中學習到的「知識地圖」上的導航系統。LLM 的「思考」過程，實際上是在這張地圖上進行的「貝氏推論」。當 LLM 偏離地圖上的已知路徑時，就會產生「幻覺」，輸出看似合理但實際上錯誤的內容。因此，優化 LLM 輸出的關鍵在於引導它沿著地圖上已知的、低熵的路徑前進。

從「工程」到「撥弄」：經驗主義的反思

Misra 認為，真正的「工程」代表著高度的標準和成就，例如將人類送上月球。而目前對 LLM 的「提示工程」，更多的是一種基於經驗的嘗試和調整，透過不斷修改提示詞來觀察模型輸出的變化。這種缺乏嚴謹理論和模型支撐、僅依靠反覆試驗來調整輸入的做法，與傳統工程學有著本質上的區別。Misra 認為，目前 AI 社群過於強調經驗主義，「提示工程」正是這種現象的體現。這種「撥弄」式的調整，與傳統工程學中基於嚴謹科學理論的設計和驗證，有著根本的不同。

AGI 的未來：架構上的躍進

Misra 的觀點也引發了對 AI 發展方向的反思。他認為，僅僅依靠增加資料和算力，並不能讓 LLM 真正進化成通用人工智慧 (AGI)。要實現 AGI，可能需要的是「架構上的躍進」，例如讓 AI 真正模擬人類思考，而不僅僅是語言處理。這意味著，AI 的發展需要從單純的資料驅動，轉向更深入地理解智能的本質，並在架構上進行創新。