Ilya Sutskever，OpenAI 共同創辦人兼 Safe Superintelligence (SSI) 執行長，近期表示 AI 產業過去仰賴的「擴展律」時代可能即將結束。擴展律指出，透過增加模型參數、訓練數據量和算力，AI 效能可以指數級增長。然而，Sutskever 認為，單純的規模擴張已無法解決 AI 模型「泛化能力不足」的根本問題。
Sutskever 指出，預訓練所需的數據量存在明顯的限制。大規模語言模型 (LLM) 的成功依賴於使用所有可用的數據進行預訓練，包括網際網路上所有公開文本、書籍和程式碼等。儘管這些數據量極其龐大，但並非無限。在數據不足的情況下，持續擴大模型規模的回報將會遞減。
另一個問題是，儘管 AI 模型在評估中得分很高，但在現實世界中的應用效果卻明顯落後。Sutskever 認為，這是由於模型的泛化能力遠不如人類。他以學生為例，指出當前 AI 模型像背誦所有解法的程式競賽選手，缺乏舉一反三的能力，無法將所學知識應用到全新的領域。人類即使接觸的資料量極少，也能獲得更深刻的理解，並且不會犯下 AI 常見的低級錯誤，顯示兩者在學習質量上的根本差異。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容