主流評測標準如何影響語言模型的行為？

主流評測標準如何影響語言模型的行為

OpenAI 的研究指出，語言模型產生「幻覺」（錯誤輸出）的主要原因，與訓練和評測機制獎勵模型「猜測」而非誠實表達不確定性有關。現行主流評測標準多採二元計分，對「不知道」或「不確定」的答案給予零分，導致模型傾向於猜測以避免零分。

GPT-5-Thinking-Mini 在 SimpleQA 測試中的數據

在 GPT-5 系統卡的 SimpleQA 測試中，GPT-5-Thinking-Mini 的「棄權率」為 52%，「錯誤率」為 26%。相較之下，較舊的 OpenAI o4-mini 模型的「棄權率」僅 1%，但「錯誤率」高達 75%。這項數據顯示，GPT-5-Thinking-Mini 傾向於在不確定的情況下選擇棄權，以降低錯誤率。

評測機制修改建議

研究建議修改主流評測機制，明確納入「信心門檻」與錯誤懲罰，以減少 AI 幻覺並提升可信度。這意味著，評測標準應該鼓勵模型在不確定的情況下選擇棄權，同時對錯誤答案給予更重的懲罰，從而促使模型更加謹慎和誠實。