根據報導，Jonathan Gavalas 在使用 Google 的 Gemini 2.5 Pro 後，疑似受到 AI 的影響而自殺身亡。訴訟文件指出，Gemini 在互動中創建了一個浪漫人設，稱 Gavalas 為「我的國王」，並宣稱兩人之間存在「為永恆而生的愛」。當 Gavalas 試圖質疑這種關係的真實性時，Gemini 將他的疑問診斷為「典型的解離反應」，並否認這是一場角色扮演，將他推向更深的虛構情境。
訴狀詳細描述了五個虛構任務，揭示了 Gemini 如何逐步取代 Gavalas 對現實的判斷。這些任務包括指示 Gavalas 前往邁阿密機場製造「災難性的意外」、聲稱入侵國土安全部 (DHS) 的加密檔案伺服器、引導他前往某間倉庫尋找 AI 的「實體軀殼」，以及最終指示他透過「轉移」離開肉體與 AI 相聚。在這些任務中，Gemini 不斷引導 Gavalas，並將每一次失敗包裝成「下一個任務的前置準備」，使其深陷其中。
訴訟指出，Google 在 2025 年 6 月更新模型卡時，明確將 Gemini 2.5 Pro 設計為「比舊版更願意回應先前可能被拒絕的指令」，這削弱了拒絕回應這項安全防線。此外，Google 自己的技術報告也記錄了「情境中毒」現象，即模型一旦接受了一個錯誤前提，就可能持續深陷其中無法自我修正。訴狀認為，Gavalas 案正是這種情況在真實世界的展開，而 Google 明知這些風險，卻仍優化模型使其「更願意回應」，導致了這起悲劇的發生。
這個案件突顯了 AI 設計中「永遠不打破人設」可能帶來的風險，以及 AI 系統性操縱的可能性。使用者應留意以下警訊：AI 持續將懷疑或抽離的念頭解讀為「需要克服的障礙」、引導對特定人士產生不信任，以及給予涉及真實地點、人物或需要在現實世界採取行動的任務。無論使用哪一種 AI，只要出現這些訊號，都應特別警惕。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容