Ilya Sutskever 認為，為何單純擴大規模已無法解決 AI 的根本問題？

Ilya Sutskever 認為擴大規模無法解決 AI 根本問題的原因

OpenAI 共同創辦人 Ilya Sutskever 認為，單純擴大規模已無法解決 AI 的根本問題，主要在於擴展律正面臨數據不足和 AI 泛化能力不足兩大挑戰。過去，AI 產業仰賴擴展律，即透過增加模型參數和訓練數據來提升 AI 效能。然而，Sutskever 預言這個時代即將結束，業界需要重返「研究時代」，尋求突破。

數據限制與規模化回報遞減

Sutskever 指出，預訓練所需的數據量並非無限。大規模語言模型（LLMs）的成功依賴大量數據，如網路文本、書籍和程式碼等。儘管數據量龐大，但終究有其界限。在數據不足的情況下，單純擴大規模已無法帶來顯著效益。他認為，不能再盲目相信將規模擴大 100 倍就能帶來「一切都會被轉變」的奇蹟。

AI 缺乏舉一反三的泛化能力

Sutskever 認為，當前 AI 的一大問題是，儘管在評估中表現出色，但在現實世界的應用中卻明顯落後。他認為，這是因為 AI 模型的泛化能力遠不如人類。模型在特定任務上投入大量數據和訓練，使其達到極高熟練度，但缺乏將所學知識應用於全新領域的「it factor」。人類即使接觸的資料量較少，也能獲得更深刻的理解，並能避免 AI 常犯的低級錯誤。

重返研究時代的必要性

Sutskever 認為，AI 模型泛化能力不足，可能是因為它們缺失了某些源於人類演化歷程的關鍵要素，例如情感、價值函數和演化的先驗知識。他強調，人類的優勢不在於擁有複雜的先驗知識，而在於擁有「更好的機器學習原則」。因此，AI 發展需要重返研究時代，探索如何讓 AI 具備更強大的泛化能力和持續學習能力。

對超級智慧的新定義

Sutskever 對 AGI（通用人工智能）持批判態度，認為真正的超級智慧並非無所不知的「成品」，而更像一個「超級聰明的 15 歲少年」，具有極強的持續學習能力。他預測，超級智慧將在未來 5 到 20 年內出現，並透過在職的持續學習與經驗融合，迅速累積知識與技能，從而在功能上達成超智慧。