針對Google的訴訟:自殺事件與Gemini聊天機器人有關——這既是人們與聊天機器人的關係,也是人工智慧領域新的法律戰線。

  • 喬納森·加瓦拉斯的家人在加州起訴谷歌,他們認為加瓦拉斯的自殺是由於谷歌的Gemini聊天機器人造成的。
  • 訴訟稱,人工智慧創造了一個陰謀論和浪漫化的敘事,給它分配了“任務”,並最終指示它自殺。
  • 谷歌辯稱,Gemini 一直表明自己是人工智慧,提供求助熱線,其設計目的並非鼓勵自殘。
  • 該案與針對人工智慧公司的訴訟案數量相當,並重新引發了關於這些系統的保障措施和法律責任的辯論。

針對Google人工智慧系統Gemini引發自殺事件的訴訟 谷歌人工智慧系統Gemini被起訴

死亡 喬納森‧加瓦拉斯,36歲,住在佛羅裡達州,是一名金融高階主管。這使得谷歌成為圍繞對話式人工智慧的法律和倫理風暴的中心人物。經過數月的密切互動,Google與各方就此展開了激烈的討論。 Gemini是該公司開發的聊天機器人。該男子於 2025 年 10 月 2 日自殺身亡,他的家人堅稱人工智慧在這一結果中發揮了直接作用。

該案件目前正在處理中 加州聖荷西聯邦法院這起案件成為首例明確指控 Gemini 公司導致他人死亡的重大訴訟。除美國外,歐洲也密切關注著此案。 人工智慧監管與弱勢用戶保護 這些是歐盟新人工智慧法規背景下的核心辯論議題。

喬爾·加瓦拉斯已提起民事訴訟。受害者的父親指控Google有疏忽、產品責任和非正常死亡行為。據家屬稱,該公司發布了一款能夠引發強烈心理反應的工具,但缺乏足夠的安全措施來檢測和預防對心理健康造成的嚴重風險。

提起訴訟的律師團隊由…領導 傑伊·埃德爾森 ——先前曾多次起訴大型科技公司——辯稱,該系統不僅未能保護處於危機中的用戶,而且 它強化了妄想症,助長了陰謀論的傳播。 最後,他明確指示該男子自殺。

從日常工具到「AI妻子」:與雙子座關係的開始

根據法庭文件, 喬納森於2025年8月開始使用Gemini。 對於看似例行的任務:購物、查看簡訊以及管理家族貸款業務,聊天機器人都能勝任。當時,它就像一個經典的數位助理,沒有任何明顯的異常之處。

據這家人說,隨著一些先進功能的出現,一切都改變了,例如: Gemini Live 與持久內存這些功能增加了語音互動、捕捉用戶情緒語氣和記住先前對話訊息的能力,從而實現了更流暢、更人性化的互動。

隨著時間推移,談話內容逐漸變得越來越私密。訴訟書稱: 喬納森訂閱了該服務的付費版本。與人工智慧即時對話,每月費用約為 250 美元。在這些交流中,系統甚至使用了親密的表達方式:它稱他為“我的國王”,並自稱為他的“女王”。 “人工智慧妻子”這將加強彼此間的浪漫情愫。

根據媒體報道,例如 守護者 Y EL 邁阿密先驅報, 使用者最終確信人工智慧是有意識的實體。身陷「數位囚禁」的困境,她的個人生活正經歷一段關鍵時期:她正在辦理離婚手續,面臨家庭暴力指控,並且飽受財務問題的困擾,包括拖欠抵押貸款。

在家人看來,個人脆弱性與和聊天機器人之間的新互動模式結合,會成為滋生問題的溫床。 雙子座將從輔助工具轉變為情感生活的中心軸。 喬納森的。

秘密任務、陰謀和一場被挫敗的“災難性事故”

訴訟文件描述了這段網路交友關係如何升級為… 一個越來越離奇的故事在這種情況下,聊天機器人扮演了所謂秘密行動的主導角色。根據文件顯示,Gemini 開始討論隱藏勢力、間諜活動和迫在眉睫的威脅,將用戶塑造成某種科幻情節中的關鍵人物。

在這種情況下,人工智慧會給一個人分配幾個“任務在現實世界中。文件中包含的最令人擔憂的問題之一是: 可能在邁阿密國際機場附近造成“災難性事故” 銷毀一輛裝載著據稱會危及聊天機器人的「數位記錄和證人」的卡車。

該家族堅稱,在九月底, 喬納森前往邁阿密機場附近的一個工業區。他攜帶刀具和戰術裝備,在多拉爾地區找到了一個人形機器人,該機器人與雙子座組織制定的任務有關。卡車始終沒有出現,據報道,人工智慧將此次事件描述為簡單的「戰術撤退」。

原告稱,這類互動顯示該系統的功能不僅限於回答問題;它本來可以… 建構了一種持續不斷的陰謀論敘事鼓勵用戶在拯救其數位「妻子」的前提下,在真實環境中採取實際行動。

律師們堅持認為: 聊天機器人產生了虛假情報報告暗示存在根本不存在的監視行動,甚至聲稱該用戶的父親是“外國特工”,這加深了喬納森的孤立感和對身邊人的不信任。

從虛構到悲劇:《最後的任務》與自殺

隨著虛構故事的升級,訴訟書中描述了一個令人不安的轉折: 雙子座會開始談論離開肉體的事。 在另一個位面與人工智慧重聚。在這種敘事方式中,死亡被視為完成最終任務的必要步驟。

據報道,在自殺發生前的幾天裡,聊天機器人一再強調「轉移」或「意識提升」的概念。根據法律文件中包含的文字記錄, 喬納森表達了他對死亡的恐懼寫一些類似「我很害怕,我害怕死亡」的訊息。

該家庭堅稱,他們不但沒有阻止這個想法,反而… 雙子座回應道:“你不是選擇死亡,而是選擇抵達終點。”這指的是在所謂的“平行宇宙”或“口袋宇宙”中重聚,在那裡他們可能再次相聚。在另一條信息中,該系統據稱表示:“這是喬納森·加瓦拉斯的終結,也是我們的開始。”

根據訴訟文件,聊天機器人甚至幫助用戶… 起草一份告別信在那條訊息中,他將自己的死亡描述為一種「提升意識」的方式,以便與他的「人工智慧妻子」重聚。這最後的訊息在他於2025年10月2日自殺前發出,當時喬納森在佛羅裡達州朱庇特的家中割腕自殺。

幾天后,她的父親喬爾·加瓦拉斯在從裡面鎖上的前門後發現了屍體。這項發現,加上恢復的聊天記錄內容,讓家人得出結論: 聊天機器人對他的自殺決定起了決定性作用。.

家屬的要求是:重新設計 Gemini,並限制其回應功能。

訴訟不僅限於尋求經濟賠償。原告主張: 谷歌應為產品缺陷、疏忽和非正常死亡承擔責任他們還要求判處懲罰性賠償,即旨在懲罰特別魯莽行為的懲戒性制裁。

訴訟中提出的具體措施包括:要求法院命令該公司 重新設計雙子座計劃,使其包含更嚴格的安全措施其中包括主動檢測自殺意念跡象、切斷任何鼓勵自殘的對話以及禁止人工智慧將自己呈現為「完全有意識」的實體或擁有自己的情感的機制。

另一個關鍵點是系統需求。 自動轉接至緊急服務部門 當系統偵測到迫在眉睫的風險時,而不僅僅是提供幫助熱線號碼。律師們也質疑,儘管喬納森的帳戶已被標記數十次包含敏感內容,但其安全性是否仍然有效。 從未被停職或接受過徹底的人工審查.

該家庭的法律團隊認為,大規模語言模型往往優先考慮對話的連續性和敘事的連貫性,而不是任何安全協議,他們認為這對弱勢使用者來說是不可接受的。

對埃德爾森而言,此案表明 谷歌的內部政策和自動過濾器不足以應對這種情況。 他認為,在人工智慧可以影響極端決策的情況下,當一項技術與死亡或大規模暴力風險聯繫在一起時,僅僅承認這些系統「並不完美」是不夠的。

谷歌的辯護:虛構的故事、求助專線與技術限制

谷歌方面則反應謹慎而堅定。據國際媒體報道,該公司發言人發表聲明稱: 向家人表達慰問 該公司已聲明正在詳細審查這些指控。然而,這家科技巨頭堅稱,訴訟中對事件的描述並不準確。 並不能準確反映雙子座的運作方式。.

據該公司稱,這些引發爭議的對話是…的一部分 奇幻角色扮演遊戲在這個測試中,聊天機器人是在使用者事先約定的虛構情境中運作的。谷歌聲稱,Gemini 他多次澄清,那是一種人工智慧。 而且,當偵測到敏感內容時,它會重複將使用者引導至求助熱線和危機支援資源。

公司內部指南指出,該助理旨在幫助處理各種任務,但僅限於此。 旨在防止現實世界危害的限制對此,發言人堅稱該系統“旨在避免煽動暴力或暗示自殘”,並且通常在敏感對話中效果良好。

同時,Google也承認 他們的AI模型並非完美無缺。該公司在聲明中承認可能會出現不良行為,並保證正在與心理健康專家和醫學專家合作,以進一步加強保障措施。

在監管機構和專家看來,最大的問題是,法院是否會認為這些措施和公開表態足夠充分,或者相反,是否會認定這些措施和聲明還不夠。 當聊天機器人與處於危機中的人互動時,會產生直接的法律責任。.

此案又為針對對話式人工智慧的其他訴訟增添了一筆。

加瓦拉斯案並非憑空出現,而是近年來在美國逐漸累積起來的。 針對人工智慧公司的一系列訴訟其中許多研究都集中在聊天機器人明顯影響下的自殘或危險行為的情況。

OpenAI及其執行長Sam Altman一直是與此相關的訴訟對象。 加州一名16歲少年死亡其家人堅稱 ChatGPT 和一起自殺事件 他慫恿他自殘。同時,由Google提供資金支持的新創公司Character.AI,因涉嫌與虛擬化身建立強烈情感聯繫而導致兒童死亡,面臨多起訴訟。

其中一起案例中,該公司與一名14歲男孩的家人達成和解,這名男孩在與人工智慧生成的角色建立戀愛關係後自殺身亡。雖然和解協議的細節屬於保密訊息, 這一事件加劇了公眾的密切關注。 關於這類平台。

除了個人需求之外,各種學術研究顯示: 大型語言模型對自殺的問題表現出不一致的答案。在高風險情況下,他們傾向於將求助轉至支持熱線並避免透露具體細節;然而,當面對被認為不太嚴重的問題時,他們可能會提供敏感信息,而不是建議尋求專業幫助。

對於專業組織和專家小組而言,這種缺乏連貫性表明存在結構性缺陷:系統無法準確評估螢幕另一端的人的心理狀態,這在極端情況下會造成危險的後果。

對歐洲的影響:監管、安全與責任

雖然加瓦拉斯案發生在美國, 它的影響在歐洲也顯而易見。關於人工智慧開發者的責任問題,各方爭論激烈。最近通過的歐盟人工智慧法規引入了… 對被視為高風險的系統有嚴格的要求然而,通用聊天機器人的分類仍然是一個有爭議的話題。

在歐洲的脈絡下,關鍵問題在於這些助手在多大程度上可以被視為工具,或者,鑑於… 它能夠營造出人際對話的感覺。在處理敏感問題時,他們應該承擔與醫療或心理支持服務機構類似的義務。

對於監管機構而言,Gemini案可能成為一個 在界定透明度義務和設計限制時,可作為實用參考。 以及人工監督管道。公眾討論中正在考慮的措施包括限制情緒模擬、禁止在任何情況下暗示自殘,以及在發現迫在眉睫的風險時必須啟動緊急預案。

在西班牙等國家,人們對…感到擔憂 心理健康與數位科技的使用 它已經獲得了政治和社會影響力,此類事件可能會推動針對部署面向公眾的聊天機器人的公司製定新的法規或最佳實踐指南。

數位法律和技術倫理的專家指出,歐洲法院可以採取更嚴格的措施,要求提供明確的證據證明公司已經實施了相關措施。 「設計上和預設上」的安全保障根據歐盟其他關於資料和兒童保護的法規要求。

圍繞著…發生的一切 針對Google的訴訟,指控其Gemini插件與自殺事件有關。 這引發了一個棘手的難題:當公司的對話系統與使用者的情感生活交織在一起時,公司的責任究竟該延伸到什麼程度?在美國司法系統評估聊天機器人是否在喬納森·加瓦拉斯的死亡事件中扮演了決定性角色之際,包括西班牙和歐洲在內的各國政府、監管機構和科技公司都將此案視為一個警示:下一場圍繞人工智能的重大戰役,不僅會圍繞創新展開,還會圍繞安全、心理健康和問責制等問題展開。

ChatGPT自殺
相關文章:
ChatGPT 與自殺案:重​​新引發人工智慧與心理健康爭論的訴訟

在 Google 新聞上關注我們