美國哥倫比亞大學教授 Vishal Misra 認為,「提示工程」(prompt engineering) 這個詞彙其實並不恰當,他更傾向於稱之為「提示撥弄」(prompt twiddling)。這個觀點源於他對大型語言模型 (LLM) 本質的理解,以及對目前 AI 研究方向的觀察。
Misra 認為,LLM 像是建構在一張從海量訓練資料中學習到的「知識地圖」上的導航系統。LLM 的「思考」過程,實際上是在這張地圖上進行的「貝氏推論」。當 LLM 偏離這張地圖上的已知路徑時,就會開始「產生幻覺」,也就是輸出看似合理但實際上錯誤的內容。因此,優化 LLM 輸出的關鍵,在於引導它沿著地圖上已知的、低熵的路徑前進。
Misra 認為,真正的「工程」代表著高度的標準和成就,例如將人類送上月球。而目前對 LLM 的「提示工程」,更多的是一種基於經驗的嘗試和調整,透過不斷修改提示詞來觀察模型輸出的變化。這種缺乏嚴謹理論和模型支撐、僅依靠反覆試驗來調整輸入的做法,與傳統工程學有著本質上的區別。他認為,目前 AI 社群過於強調經驗主義,而「提示工程」正是這種現象的體現。
Misra 的觀點也引發了對 AI 發展方向的反思。他認為,僅僅依靠增加資料和算力,並不能讓 LLM 真正進化成通用人工智慧 (AGI)。要實現 AGI,可能需要的是「架構上的躍進」,例如讓 AI 真正模擬人類思考,而不僅僅是語言處理。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容