AI 僅透過文字學習，為何能理解視覺世界？

人工智慧如何僅透過文字理解視覺世界

Meta 與牛津大學的研究表明，即使僅透過文字學習，人工智慧 (AI) 也能發展出理解視覺世界的能力。這項研究發現，AI 可以藉由閱讀大量文字來學習，並且在未接觸視覺資訊之前，就已經具備理解視覺世界的能力。這項突破性的發現顛覆了傳統觀念，顯示 AI 能夠透過文字資料來建構對視覺世界的認知。

AI 學習的兩種關鍵能力：推理先驗與感知先驗

AI 從文字中獲得「視覺先驗」的方式，是由兩種學習成果構成：推理先驗 (Reasoning Prior) 和感知先驗 (Perception Prior)。「推理先驗」是指 AI 透過閱讀程式碼、數學公式和學術論文等高度結構化的文本，鍛鍊出分析問題、建立因果、洞察模式的邏輯能力。「感知先驗」則是透過閱讀網路上包羅萬象的通用文本，逐漸將關於物體顏色、形狀、名稱等基礎知識，收錄進 AI 的心智資料庫。這兩種能力相互作用，使 AI 能夠從文字中提取出與視覺世界相關的資訊。

研究結果的啟示：學習的核心在於思考能力

研究結果顯示，AI 學習的內容類型會影響其學習能力。例如，閱讀程式碼和數學長大的 AI 模型，在需要抽象思考的視覺問答任務上表現較好。此外，研究也發現不同的學習內容存在不同的效益曲線，對於能鍛鍊思維的「推理教材」，AI 是多多益善，但對於描述顏色、形狀的「常識教材」，其學習效果會迅速飽和。這項研究不僅揭示了 AI 的學習本質，也為人類的學習方式帶來了啟示：學習的核心在於建立思考的能力，而不僅僅是知識的堆疊。文字和圖像都只是我們所處世界的不同媒介投影，掌握了底層規律的人類或 AI，可以透過深入研究其中一種投影，反推出創造這些投影的現實世界的內在結構。