AI在預訓練階段，哪種知識點容易導致幻覺？

AI 在預訓練階段易產生幻覺的知識點

AI 在預訓練階段，特別容易在處理稀有、孤立的「任意事實」(Arbitrary Facts) 時產生幻覺。OpenAI 的一篇論文指出，如果某個知識點在 AI 讀過的龐大資料中只出現過一次，也就是所謂的「單例率 (singleton rate)」很高，那麼 AI 在被問到相關問題時，產生幻覺的機率就會大幅提升。

「單例率」與 AI 幻覺的關係

「單例率」指的是某個知識點在 AI 訓練資料中出現的頻率。如果一個知識點只出現過一次，AI 就很難正確地學習和記憶。這就像人類讀書時，對於只看過一次的冷門知識點容易記錯或張冠李戴。由於 AI 在預訓練階段需要讀取海量的資料，因此許多冷門或不常見的知識點很容易被 AI 忽略或錯誤解讀，進而導致在後續應用中產生幻覺。

AI 幻覺的成因與解決方案

AI 產生幻覺並非神秘現象，而是訓練與評估體制下必然產生的結果。AI 在預訓練階段將「生成正確內容」簡化為判斷「一句話是否正確」的是非題，容易對稀有知識點產生誤判。此外，AI 在遇到不確定的問題時，可能會隨意生成答案以獲得「同情分數」，進一步加劇幻覺現象。為了解決這個問題，研究人員正在探索多種方法，包括增加訓練資料的多樣性、改進訓練算法、以及設計更有效的評估指標，以提高 AI 的知識準確性和可靠性。