Mira Murati 領導的 Thinking Machines Lab 提出的論文主要解決了什麼問題？

Thinking Machines Lab論文主要解決的問題

由Mira Murati領導的Thinking Machines Lab發表的一篇論文，主要解決了大型語言模型（LLM）在推理過程中出現的不確定性問題。該論文深入探討了即使在將溫度參數設定為0，理論上應關閉所有隨機性的情況下，LLM的回答仍然不確定的現象。這種不確定性對於需要精準、可靠和可複製結果的科學研究和商業應用來說是一個巨大的挑戰。

論文揭示的潛在原因：浮點數非結合律

論文指出，這種不確定性的主要原因是電腦固有的「浮點數非結合律」問題。由於電腦使用浮點數格式儲存數字，而浮點數的精度是有限的，因此在進行一系列計算時，計算的順序不同可能會因為精度損失而導致最終結果出現微小的差異。這就像用一把只能精確到公分的尺去測量台北101的高度加上一張A4紙的厚度，由於精度不足，A4紙的厚度很可能被忽略掉，導致計算結果不準確。

論文揭示的潛在原因：平行運算

此外，GPU的平行運算也是造成不確定性的原因之一。GPU擁有大量的計算核心，可以同時處理大量的計算任務。然而，當這些核心同時計算並將結果匯報到同一個地方時，由於計算順序的隨機性，可能會導致最終結果產生差異。這就像上千個工人在工廠裡同時工作，匯報結果的順序不同可能會影響最終的統計結果。