OpenAI 論文中對 AI 幻覺的定義為何? | 數位時代

OpenAI 論文中對 AI 幻覺的定義

OpenAI 在其論文〈Why Language Models Hallucinate〉中指出,AI 幻覺是指 AI 模型產生錯誤或不實資訊的現象。這種幻覺並非簡單的技術缺陷或人為疏失,而是由於訓練與評測機制中的獎勵偏差所導致。現行的機制鼓勵模型在不確定時「猜測」答案,而不是誠實地承認「不知道」,從而導致錯誤資訊持續存在。

主流評測機制的影響

目前主流的 AI 評測標準多採用二元計分方式,答對得分,答錯或回答「不知道」則一律零分。這種評分方式促使模型傾向於猜測答案,因為即使是隨機猜測也有可能得分,而坦承「不知道」則肯定無法得分。

改善建議

為減少 AI 幻覺並提升其可信度,OpenAI 建議修改主流評測機制,明確納入「信心門檻」與錯誤懲罰。信心門檻指的是模型在回答問題時需要評估自身答案的準確性,並設定一個可接受的信心水平。如果模型對答案的信心不足,則應該選擇不回答,而不是隨意猜測。同時,對於錯誤的回答應該給予懲罰,以鼓勵模型更加謹慎。透過這些調整,AI 系統可以更準確地判斷何時應該給出答案,何時應該承認自己的不足,從而減少幻覺的產生,提升整體的可信度。


This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容