「模型崩潰」現象，是否意味著 AI 的發展將重蹈哈布斯堡王朝的覆轍？

AI 模型崩潰與哈布斯堡王朝的類比

文章探討了 AI 發展中面臨的「模型崩潰」現象，並將其與歷史上哈布斯堡王朝因近親通婚導致衰敗的案例進行類比。哈布斯堡家族為了保持血統純正，長期進行近親通婚，導致有害基因累積，最終走向衰敗。同樣地，AI 領域中，當 AI 模型開始學習由自身生成的數據時，也會產生類似的「近親通婚」效應，導致模型性能下降，甚至崩潰。

模型崩潰的成因與影響

隨著 AI 技術的發展，可供 AI 學習的公開資料逐漸枯竭。為了讓 AI 繼續進化，研究人員開始嘗試讓 AI 學習由 AI 自己生成的數據，即「合成數據」。然而，這種做法存在風險。AI 在學習過程中會不自覺地「取平均值」，平滑掉罕見知識，強化主流觀點，導致數據多樣性喪失。經過多次迭代後，AI 模型會變得越來越平庸、可預測，並遺忘真實世界的多樣性，甚至放大錯誤，最終導致模型崩潰。

如何避免 AI 的「哈布斯堡詛咒」

文章指出，避免 AI 走向「哈布斯堡詛咒」的關鍵在於保持數據的多樣性，避免過度依賴合成數據。具體而言，需要確保每一代訓練中都混入一定比例的新鮮人類資料，以避免「近親通婚」。此外，AI 應持續與真實世界連結，從豐富、混亂的真實世界中學習，而不是僅僅在自我參照的系統中循環。文章最後強調，人類在演化論累積下來的經驗和基礎，將是下一代 AI 突破的重要關鍵。