為何 Vishal Misra 認為，LLM 只能在已知知識地圖上導航，而無法創造新大陸？

Vishal Misra 對於 LLM 無法創造新大陸的觀點

美國哥倫比亞大學教授 Vishal Misra 認為，大型語言模型 (LLM) 的運作方式類似於在已知的「知識地圖」上導航，而無法創造新知識的原因在於，它們的能力受限於訓練資料的「歸納閉包」。這意味著 LLM 擅長於連接地圖上已知的知識點，找出最佳路徑，但無法創造出地圖之外的全新知識點。

LLM 的「知識地圖」與人類認知模型的相似性

Misra 提出 LLM 會將複雜的世界資訊壓縮成低維度的「幾何流形」，本質上是模型從海量訓練資料中學到的一張「知識地圖」，並依此進行「貝氏推論」。這種方式與人類的推理方式相似，人類也會將複雜世界簡化為內心的認知模型，並在這個模型內進行思考與推理。

LLM 的局限性與 AGI 的標準

Misra 認為，LLM 無法透過遞迴式自我改進來產生真正的新知識，因為資訊從未離開過最初由訓練資料所劃定的地圖邊界。他以愛因斯坦為例，指出 LLM 無法提出相對論，因為它需要否定牛頓物理學，提出全新的時空連續體概念。AGI 的能力應該是「創造新的流形」，也就是繪製全新的地圖，而不僅僅是在已知地圖上導航。

更多資料與算力無法突破 LLM 的限制

Misra 反對單靠更多資料和算力就能使 LLM 進化成 AGI 的觀點，指出增加資料只會讓現有的「知識地圖」更平滑、更精細，但無法幫助模型發現一個全新的大陸。他認為，要達到 AGI，需要的可能是一場「架構上的躍進」，例如讓 AI 真正模擬人類思考，而不僅僅是語言處理。

對於「提示工程」的看法

Misra 對於目前流行的「提示工程」持保留態度，認為它只是東改西改的「提示撥弄」，缺乏嚴謹的理論與模型支撐，不應被冠以「工程」之名。他認為，AI 社群中存在過多的經驗主義，而「提示工程」正是其體現。

LLM 的定位與 AGI 的未來

Misra 將 LLM 定位為基於龐大訓練資料進行貝氏推論的強大工具，是知識的導航者，但其能力有明確邊界，並非直通 AGI 的康莊大道。理解其根本限制，能幫助我們更理性地看待 AI 的未來。