GPT-5在哪些任務領域的成功率表現最佳，又在哪些領域表現較差？

GPT-5 在 MCP-Universe 基準測試中的表現

MCP-Universe 是一項由 Salesforce AI Research 開發的基準測試，旨在評估大型語言模型（LLM）在實際企業應用中的效能。該測試涵蓋導航、金融分析和 3D 設計等六個領域，共 231 個任務，並連接到真實伺服器進行測試。結果顯示，即使是 GPT-5 等最先進的 LLM，在真實任務中的成功率也僅為 43.72%，遠低於市場宣傳。這表明現有模型在長上下文、多工具和跨領域等挑戰方面仍存在限制。

成功率表現最佳與較差的任務領域

在 MCP-Universe 基準測試中，GPT-5 在金融分析領域的完成率達到 67.5%，在 3D 設計任務中的完成率也超過 50%（52.63%）。然而，在導航（33.3%）和瀏覽器自動化（35.9%）等複雜的多步驟任務中，其失敗率相對較高。這表示 GPT-5 在需要高度專業知識或需要執行多個步驟的任務中表現較好，但在需要導航和自動化操作的任務中表現較差。

對 AI 代理可靠性的影響

MCP-Universe 基準測試的結果表明，目前大型語言模型在實際企業環境中的應用仍然面臨許多挑戰。模型在處理動態數據、多步驟推理以及不熟悉的工具時，效能會顯著下降。此外，框架選擇和工具組合對 AI 代理的效能有實質性的影響，單純增加模型規模並不能解決可靠性問題。這項研究提醒人們，AI 代理的任務成功率可能不如 AI 公司所宣傳的那樣，並且在取代初階白領工作方面還有很長的路要走。