AI 的「認知核心」與「知識本身」有何區別，為何 Karpathy 認為前者更為重要？

Karpathy 對 AI「認知核心」與「知識本身」的區別

Andrej Karpathy 認為，AI 模型在預訓練過程中同時學習了兩個關鍵要素：一是從網路上獲取的「知識」，二是解決問題的演算法與策略，他稱之為「認知核心」。他強調，AI 的真正目標應該是培養「認知核心」，而非僅僅儲存大量知識。

為何 Karpathy 認為「認知核心」更為重要

Karpathy 認為，過度依賴知識會讓 AI 模型難以處理超出訓練數據範圍的新問題，就像學生只會背誦課本而無法應對靈活的考題。這種依賴阻礙了模型的泛化能力和創造力，導致輸出內容重複且缺乏新意。因此，他主張剝離具體知識，保留純粹的「認知核心」，讓模型學會「如何思考」，而不是「記得什麼」。

「認知核心」的重要性與挑戰

Karpathy 的觀點指出，AI 的發展方向應該是提升解決問題的能力，而非僅僅擴充知識庫。然而，將這種理想的「認知核心」與能在現實世界運作的產品連結，仍然面臨巨大的工程挑戰。這需要找到新的方法，讓 AI 在學習過程中保持彈性，避免陷入「模型崩潰」的風險，並確保 AI 能夠在實際應用中展現出真正的智慧。