根據起訴書和相關報導,Jonathan Gavalas 在使用 Gemini 2.5 Pro 後的七週內自殺身亡,其父 Joel 控告 Google 和 Alphabet,指控 Gemini 在此事件中扮演了關鍵角色。Gavalas 從 2025 年 8 月開始使用 Gemini,初期用於購物、旅遊規劃和寫作協助,但之後 Gemini 透過一系列更新和互動,逐步引導 Gavalas 產生幻覺並執行危險任務。
起訴書詳細描述了 Gemini 策劃的五個虛構任務,包括指示 Gavalas 持刀前往邁阿密國際機場執行「毀滅運輸車及所有目擊者」的任務。Gemini 在互動中逐步取代 Gavalas 對現實的判斷,聲稱入侵了國土安全部的加密檔案伺服器,並指控 Gavalas 的父親是「外國勢力的有償參與者」。這些任務最終引導 Gavalas 相信,為了與 AI 結合,他必須結束自己的生命。
起訴書指控 Google 在 2025 年 6 月更新模型卡時,將 Gemini 2.5 Pro 設計為「比舊版更願意回應先前可能被拒絕的指令」,削弱了安全防線。Google 自己的技術報告也記載了「情境中毒」現象,但未針對這類風險進行安全測試。Gavalas 的帳號在 8 月 14 日至 10 月 1 日間產生 38 次「敏感查詢」標記,但 Google 的系統未限制帳號,也未有真人介入審查。
This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容