MCP-Universe基準測試中，大型語言模型在真實企業環境下的平均成功率是多少？

Question

MCP-Universe基準測試中的大型語言模型成功率

Accepted Answer

MCP-Universe基準測試由Salesforce AI Research主導開發，旨在檢驗16款大型語言模型（LLM）在真實企業應用中的表現。該測試涵蓋導航、金融分析、3D設計等六大領域，共231項任務，並連接真實伺服器進行測試。測試結果顯示，即使是最先進的LLM，如GPT-5、Grok-4、Claude-4.0-Sonnet，在真實任務中的成功率分別僅為43.72%、33.33%、29.44%，遠低於市場宣傳。這表明現有模型在長上下文、多工具、跨領域等挑戰下表現有限，而其他多數模型的成功率更低於20%。

閱讀記錄

隱藏 →

此為暫時記錄，會在關閉頁面後消失

MCP-Universe基準測試中，大型語言模型在真實企業環境下的平均成功率是多少？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

19

0

0

分享給好友