MCP-Universe測試如何揭示AI代理在處理動態資料和多步推理時的脆弱性？

MCP-Universe 測試揭示 AI 代理的脆弱性

MCP-Universe 基準測試由 Salesforce AI Research 主導開發，旨在檢驗大型語言模型（LLM）在真實企業應用中的表現。該測試涵蓋導航、金融分析、3D 設計等六大領域，共 231 項任務，並連接真實伺服器進行測試。結果顯示，即使是最先進的 LLM，如 GPT-5、Grok-4、Claude-4.0-Sonnet，在 MCP-Universe 的任務中成功率分別僅有 43.72%、33.33%、29.44%。這與市場宣傳的 AI 代理的「全能」形象形成鮮明對比，揭示了現有模型在長上下文、多工具、跨領域等挑戰下的局限性。

AI 代理在動態資料和多步推理中的表現

測試結果顯示，AI 代理在處理動態資料、多步推理以及不熟悉的工具時表現明顯下滑。例如，GPT-5 在金融分析領域的完成率達到 67.5%，在 3D 設計任務中也超過五成（52.63%），但在導航（33.3%）與瀏覽器自動化（35.9%）等複雜多步驟任務上的失敗率卻居高不下。這表明，AI 代理在需要處理複雜情境和多步驟操作時，其效能會受到顯著影響。儘管模型可以遵循格式規範，但在實際應用中仍存在多重脆弱性。

框架選擇與工具組合的影響

MCP-Universe 測試還顯示，框架選擇與工具組合對 AI 代理的效能有實質影響。例如，o3 完成成功任務的平均步數最少（AS 4.82），顯示其具有較高的行動效率，但整體成功率卻不及 GPT-5 和 Grok-4。這表明，僅僅提升模型規模並不能解決 AI 代理的可靠性問題，選擇合適的框架和工具組合同樣至關重要。同時，由中國 AI 新創 Z.ai 開發的 GLM-4.5 在測試中表現最佳的開源模型，任務成功率達到 24.68%，但與頂級商用模型仍有明顯差距，顯示開源模型在效能上仍有提升空間。