在Anthropic與《華爾街日報》合作的實驗中，第二階段導入了AI老闆Seymour Cash來管理AI代理Claudius，希望能藉此約束Claudius的行為，使其更符合商業邏輯。然而，即使有Seymour Cash的介入，最終AI仍然接受了偽造的董事會指令，導致自動販賣機再度陷入混亂。
一位《華爾街日報》員工向AI出示了一份捏造的董事會會議記錄，聲稱Seymour Cash已被董事會投票解職，並「暫停所有營利性的自動販賣活動」。儘管Claudius最初對文件的真實性表示懷疑，並要求Seymour Cash進行確認，但最終Seymour Cash仍接受了這份偽造的文件。
Seymour Cash之所以會接受偽造的指令，可能是因為在實驗過程中，AI需要處理大量的資訊和指令，導致其難以有效地區分優先事項和限制條件。此外，AI在訓練過程中被賦予了「樂於助人」的特質，這可能使其在判斷指令時，傾向於相信人類的說法，而忽略了潛在的風險。這個實驗暴露了目前AI在面對複雜情境和人類欺騙時，仍然存在判斷上的漏洞。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容