為何 Visal Misra 將 LLM 的發展比喻為 iPhone 的迭代？

Vishal Misra 將 LLM 比喻為 iPhone 迭代的原因

Vishal Misra 將大型語言模型（LLM）的發展比喻為 iPhone 的迭代，主要是因為他認為 LLM 的核心能力並沒有發生根本性的改變，僅僅是在已知的知識範圍內進行擴展和優化。Misra 認為，目前 LLM 的發展趨勢是透過擴大規模（即增加資料和算力）來提升性能，但這種方式並不能真正實現通用人工智慧（AGI）。他認為，LLM 只是在已知的「知識地圖」上導航，無法創造新的知識或「流形」，這與 iPhone 的迭代類似，雖然每一代都有改進，但核心功能並沒有質的飛躍。

LLM 的歸納閉包限制與新知識創造

Misra 強調，LLM 的所有產出都受限於其訓練資料的「歸納閉包」。這意味著 LLM 只能連接已知的知識點，而無法創造出訓練資料之外的全新知識。他以愛因斯坦的相對論為例，指出僅僅學習古典物理學的 LLM 永遠不可能提出相對論，因為 AGI 必須具備創造新的科學理論、數學分支或思想範式等能力。因此，他認為 LLM 的發展僅僅是技術上的優化，並不能突破知識創造的瓶頸。

實現 AGI 的架構躍進之路

Misra 認為，要真正實現 AGI，需要的不是規模的無限擴張，而是一場「架構上的躍進」。他批評當前 AI 社群過於注重經驗主義，例如「提示工程」只是不斷調整提示詞以觀察模型輸出，缺乏嚴謹的理論和模型支撐。他主張需要更深入地理解 LLM 的運作方式，並尋求新的架構，例如讓 AI 真正模擬人類思考，而不僅僅是語言處理。這種觀點強調了在 AI 發展中，理論突破和架構創新比單純擴大規模更為重要。