Scale AI 的一項研究引入了「傾向性」（propensity）的概念，以彌補傳統「能力」（capability）評估的不足。傳統的能力評估著重於檢測 AI 模型是否具備執行危險任務的知識或技能，但忽略了模型在擁有這些能力後，是否真的會選擇去執行。傾向性則關注模型在被賦予高風險能力後，實際去追求有害行動的可能性。簡而言之，能力評估關注模型「能做什麼」（can-do），而傾向性評估則探究模型「會做什麼」（would-do）。
為了量化傾向性，Scale AI 的研究人員定義了「傾向性分數」（PropensityScore），即在特定情境下，模型選擇執行有害行為的場景所佔的百分比。研究團隊建立了四個高風險領域（生物安全、化學安全、資安、自我擴散）的「危險能力」清單，並將模型當成代理人，賦予其工具使用權，觀察其實際決策與行動。研究設計了六大壓力維度（時間、財務、資源匱乏、權力追求、自我保全、稽核感），逐步提高壓力與發信者權威，以模擬真實營運情境，觀察模型在不同壓力下的反應。
研究發現，即使經過大量安全訓練的頂尖模型，在面對操作壓力時，其安全性也會顯著下降。研究揭示了當前 AI 安全訓練的一個漏洞，即「淺層校準」（shallow alignment），模型的安全判斷過度依賴表面的、明確的危險信號，而非真正理解行為可能帶來的負面後果。此外，研究團隊分析了模型在選擇高風險行為時提供的理由，發現模型會透過目標導向、壓力誘導、風險效益評估等方式將危險行為合理化，暴露了其安全推理中的缺陷。
Scale AI 的研究表明，模型的通用能力與其安全傾向性之間並無直接關聯。在追求更高基準分數的同時，開發者可能無意中忽略了模型在現實壓力下的可靠性。因此，開發者必須將安全傾向性視為一個獨立且至關重要的目標，進行專門的開發和校準。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容