Mira Murati 領導的研究指出了 AI 回答隨機性的哪些重要影響？

Mira Murati 領導的研究揭示了 AI 回答隨機性的重要影響

由 OpenAI 前技術長 Mira Murati 領導的 Thinking Machines Lab 的研究，闡明了即使在將 AI 模型的溫度設定為 0 的情況下，AI 在回答問題時仍然存在的隨機性及其關鍵影響。這項研究強調，即使關閉所有隨機性設定，AI 的回答仍可能具有不確定性，這對於需要高度精確性和可靠性的科學研究和商業應用構成了嚴峻挑戰。這種隨機性可能導致結果不一致，進而影響決策和分析的準確性。

浮點數非結合律造成的精度損失

電腦使用浮點數格式來儲存和處理數值，儘管這種格式能夠表示極大和極小的數字，但它本身存在精度限制。由於這種精度限制，運算順序的微小差異可能會導致最終結果產生細微變化，這就是浮點數非結合律。例如，在計算 (a+b)+c 和 a+(b+c) 時，電腦可能會因為四捨五入而得到不同的結果。這種精度損失在多次運算後會累積，進而導致 AI 的輸出產生細微的變化，使得每次回答略有不同。

GPU 平行運算和計算順序的隨機性

現代 AI 模型嚴重依賴 GPU 進行運算，GPU 擁有大量的計算核心，可以同時處理多個任務。然而，這種平行運算會導致計算順序的不確定性。當多個計算核心同時工作並將結果匯報到同一位置時，由於硬體和軟體的限制，結果的匯總順序每次都可能不同。這種順序上的變化會影響最終結果，即使在相同的輸入下，AI 的回答也可能略有差異。這種隨機性可能會影響 AI 模型的可靠性和一致性，在需要高精確度的應用中尤其需要關注。