AI的「推理先驗」與「感知先驗」分別是如何透過文字訓練而形成的?
Answer
AI 如何透過文字訓練形成「推理先驗」與「感知先驗」
Meta 超級智慧實驗室與牛津大學的研究顯示,AI 可以僅透過閱讀大量文字,在接觸實際視覺資訊前,發展出理解視覺世界的能力。這種能力基於兩種學習成果:推理先驗與感知先驗。
推理先驗 (Reasoning Prior)
推理先驗並非具體知識,而是一種抽象的思維框架,類似於學習數學或程式設計時內化的邏輯能力。AI 透過閱讀結構化的文本(如程式碼、數學公式、學術論文)來鍛鍊這種能力,使其具備分析問題、建立因果關係、洞察模式的邏輯思維。這種思維框架可跨領域應用,例如,用於理解程式碼迴圈也能應用於理解圖片中的邏輯關係。
感知先驗 (Perception Prior)
感知先驗則類似於腦中的「世界常識百科全書」,包含對具體事物的認知。AI 透過閱讀網路上的通用文本,以「彌散式」的方式,逐漸將關於物體顏色、形狀、名稱等基礎知識儲存在其心智資料庫中。這種學習方式類似於人類在成長過程中,透過故事、對話和閱讀潛移默化地形成對世界的認知。
研究發現,教材類型決定 AI 學習到的能力,閱讀程式碼和數學長大的 AI 模型在抽象思考的視覺問答任務上表現較好。此外,不同學習內容的效益曲線不同,程式碼等「推理教材」多多益善,而描述顏色、形狀的「常識教材」則存在學習效果飽和點。研究結論指出,訓練 AI 時,應注重建立底層邏輯而非過多重複性的死記硬背,才能使其更聰明。