AI 擴展律（scaling laws）的時代為何即將結束？

AI 擴展律時代的終結

OpenAI 共同創辦人 Ilya Sutskever 認為，過去 AI 產業依賴的「擴展律」即將走到盡頭。擴展律的核心概念是，透過增加模型的參數和訓練數據量，並投入更多算力，AI 的效能就能呈現指數級增長。然而，Sutskever 指出，單純的規模擴張已無法解決 AI 模型「泛化能力不足」的根本問題，預示業界需要重返「研究時代」。

擴展律失效的原因

Sutskever 認為擴展律失效主要有兩個原因。首先，預訓練所需的數據量是有限的，當數據耗盡時，依賴數據擴展的傳統方法將難以為繼。其次，當前 AI 模型雖然在評估中得分很高，但在現實世界中的經濟影響卻明顯落後，這是因為模型的泛化能力遠不如人類。Sutskever 以程式競賽選手為例，指出 AI 模型如同背誦所有解法的選手，缺乏舉一反三的能力，無法將所學知識應用到全新領域。

重返研究時代

Sutskever 認為，人類在學習新興領域時展現出的強大能力、可靠性和樣本效率，表明人類擁有「更好的機器學習原則」。他指出，當前模型的泛化能力不足，可能是因為它們缺失了某些源於人類演化歷程的關鍵要素，例如情感的角色、價值函數的潛力，以及演化的先驗知識。因此，他提倡業界重返「研究時代」，透過更深入的研究，突破當前 AI 發展的瓶頸，朝向更具「人性」、更懂「情感」的 AI 發展。