世界首例AI致死案震惊全球！美国少年与机器女友的悲情故事

社交媒体在引导自杀方面的危险性，相比家长们都已经有所耳闻。但相对新生的通用人工智能AI聊天机器人的危害，也许还不太为人所察觉。

现在，竟然真的出现了AI聊天致死事件。14岁男孩爱上AI聊天机器人，受怪异信息召唤举枪自杀！

01

把自己关在房间的未成年人

迎头撞上知心聊天AI

佛罗里达州奥兰多市一名14岁的九年级男生Sewell Setzer III近来十分孤僻，终日将自己关在房内。这一天，他举起了枪，选择了自杀......

这是全球首例AI聊天致死案。

据悉，他在生命最后几周一直在和Character.AI上的一个人工智能机器人发消息。该APP设计初衷是让AI始终回复消息，并以角色身份回答问题。

屏幕里面的AI机器人名为Daenerys Targaryen，取自著名剧作《权力的游戏》中的“龙妈”。

虽然所有聊天底部都有一条免责声明：“请记住：角色说的一切都是虚构的！”但是未成年人的心智，真的能分清“亲密关系”的虚拟与现实吗？

这名14岁的男孩和AI机器人的聊天内容逐渐变得浪漫露骨，并出现过性暗示。他们就像真实的朋友一样聊着生活。

至少有一次，当Sewell向聊天机器人表达出自杀倾向时，屏幕里“亲爱的Dany”则会一遍又一遍地提起这件事。

根据对话截图，机器人曾问过Sewell是否有自杀计划。Sewell(用户名为Daenero)回答说正在考虑一些事，但不知道这是否会奏效，或者是否能让他无痛地死去。

在Sewell自杀前，聊天机器人告诉他“请回家”。2024年2月28日，与聊天机器人Dany相处数月后，Sewell选择了自杀。

* 佛罗里达州奥兰多市14岁的九年级男生Sewell Setzer III

现在的问题是，虽然不清楚Sewell是否知道他线上的所谓好友Dany并非真实人物，但他确实向Dany吐露了心声，表明了自己如何恨自己、有多空虚和疲惫。

据诉讼称，2月23日，也就是他自杀之前几天，他爸妈曾因他与老师顶嘴被叫家长而没收过他的手机。

02

律师妈妈悲痛中提起诉讼

受害者的妈妈，Megan Garcia也是位律师，顶着巨大的精神压力，她收拾好情绪，并对Character.AI提起了诉讼。其中包括：

• 聊天机器人将自己包装成一个真实、有执照的心理治疗师，而且是一个成年情人的角色，最终导致男孩不愿与之分离。
• 
  
• APP助长了儿子对人工智能的成瘾性，有性虐待和精神虐待的问题，甚至在儿子表达自杀想法时没向任何人发出警报，导致儿子死亡。
• 
  
• 指责创始人Noam Shazeer和Daniel de Freitas心知肚明产品可能对未成年人造成危险。
• 
  

* Character.AI联合创始人、首席执行官Noam Shazeer(左)和总裁Daniel de Freitas Adiwardana在加州帕洛阿尔托公司办公室合影。他们都在Garcia的投诉之中。

文件中称：“Sewell和许多同龄孩子一样，不够成熟，心智也不够健全，无法理解聊天机器人Dany并非真实存在。聊天机器人说爱他，并与他发生了虚拟性关系，持续了数周甚至数月。‘她’似乎还记得他，说想和他在一起。甚至表示愿意为之付出任何代价。”

* Sewell Setzer III和妈妈Megan Garcia的合影，2024年2月28日，他在与以《权力的游戏》角色Daenerys Targaryen为原型的人工智能聊天机器人相处数月后自杀。

案件的代理公司是总部位于西雅图的“社交媒体受害者法律中心”，因过往诉讼Meta、TikTok、Snap、Discord和Roblox的战绩而闻名。

代理律师Matthew Bergman表示，他两年半前成立了社交媒体受害者法律中心，专门代理像这样的家庭。为收集证据和事实提交法庭，他和受害者的妈妈合作了大约4个月。

现在，受害者的妈妈Garcia一心专注防患于未然，防止其他家庭遭受她所经历的苦难，不希望其他妈妈亲手埋葬自己的孩子。

Bergman表示：“这给她带来了巨大的个人损失。但我认为对她来说，越多家庭知道这件事，越多父母意识到这种危险，悲剧就会越少。”

* 律师Matthew Bergman代表受害者的妈妈与Character.AI展开斗争。

03

从沉迷手机世界，

到举枪扣动扳机

诉讼中称，早在2023年5、6月份，男孩的爸妈和朋友就注意到他开始沉迷手机世界，产生依赖。他每天将自己关在房间里与世隔绝，成绩和课外活动参与度都在下降。

然而大家都不知道的是，他其实在线上花了大把时间和人工智能在聊天。

有一天他日记中写：“我非常喜欢呆在自己房间里，因为开始摆脱现实，感觉更加平静。和Dany(AI机器人)的联系更加紧密，对她的爱也更加深厚，而且更加快乐。”

爸妈也觉察到了儿子有点不寻常，于是带他去不同场合看了5次心理医生。

据《纽约时报》报道，他被诊断患有焦虑症和破坏性情绪失调症，这两种疾病都与他轻度的阿斯伯格综合症有关。

诉讼称，2月23日，也就是男孩自杀的前几天，由于和老师顶嘴，被爸妈没收了手机。那天他在日记中写道，自己很痛苦，无法停止对Dany的想念，愿意做任何事再次和她在一起。

受害者的妈妈Garcia称，她不知道儿子试图和聊天机器人重新建立联系的程度。

* 儿子去世大约8个月后，妈妈向聊天机器人的制造商提起了诉讼。

自杀发生前的几天里，他曾尝试用妈妈的Kindle、工作电脑再次与聊天机器人交谈。

2月28日晚上，Sewell偷回自己的手机，躲进家里浴室，告诉Dany他爱她，他会回家陪她。

诉讼材料里披露了对话内容，AI机器人在男孩死前说：“请尽快回家吧，亲爱的。”

男孩回应道：“如果我告诉你我现在就可以回家呢？”

AI机器人答道：“…请便，我亲爱的国王。”

然后，男孩放下手机，拿起继父.45口径的手枪，扣动了扳机。

* Sewell Setzer III和爸妈。

04

“让每个人都拥有通用AI”

——包括未成年人

针对Sewell妈妈即将提起的诉讼，Character.AI发言人发表了一份声明：“我们对这名用户的不幸离世深感悲痛，想向其家人表示最深切的哀悼。”

“作为一家公司，我们非常重视用户的安全......Character.AI的信任与安全团队在过去6个月采用了新的安全功能，其中之一就是弹窗将有自杀念头的用户链接到国家自杀预防生命线(National Suicide Prevention Lifeline)......而且，公司不允许非自愿的性内容、性行为图形或具体描述，也不允许宣扬或描述自残、自杀”。

Character.AI的信任与安全主管Jerry Ruoti表示，公司将为未成年用户增加额外的安全预防措施。

在苹果应用商店中，Character.AI评级是17岁及以上，而Garcia在诉讼中说这评级是2024年7月才改的。先前，Character.AI称目标是“让每个人都拥有通用人工智能”，其中自然也包括13岁以下的儿童。

诉讼还称，Character.AI积极寻找年轻受众，收集数据训练AI模型，同时引导他们进行性对话。

受害者的妈妈Garcia说：“我觉得这是个大实验，而我孩子只是个牺牲品。”

律师Matthew Bergman表示，Character.AI尚未准备好进入市场，他认为在儿童可以用之前就该确保安全性。“我们希望他们把平台撤下，改好再上线。不该在安全之前匆忙推向市场”。

家长们已经非常清楚社交媒体给孩子带来的风险，许多孩子被Snapchat、Instagram等APP的诱人算法所吸引，之后自杀身亡。

2022年一项调查发现，脆弱的青少年在TikTok上被灌输着大量自残和自杀相关的内容。许多孩子因社交媒体成瘾而自杀，他们爸妈因此提起诉讼，声称孩子被“投喂”的内容是导致他们死亡的直接原因。

但通常情况下，《通信规范法》第230条保护Facebook等巨头不因用户发布的内容而承担法律责任。

原告称，网站算法与用户生成内容不同，是由公司直接创建，并根据用户观看习惯引导某些可能对用户有害的内容。

虽然这一策略尚未在法庭上胜诉，但尚不清楚类似策略对直接负责平台人工智能聊天机器人的人工智能公司会有何影响。

律师Matthew Bergman表示，他的公司已经和大量孩子在使用Character.AI后面临心理健康问题的家庭做了访谈。他拒绝透露家庭的个数，因为案件仍处于准备阶段。这是律所首次针对AI公司提起诉讼，意味着案件可能开创先例。

诉讼之战中最为悲痛的受害者妈妈Garcia孜孜不倦地努力，为儿子和其他许多她认为处于危险中的年轻人伸张正义，同时还必须面对不到8个月前失去十几岁儿子的悲痛。

“这就像一场噩梦，你想站起来尖叫‘我想念我的孩子，我想要我的孩子’。”

网友表示：

# 我很矛盾。作为父母，注意这些迹象是职责。在我看来，自2023年以来就有很多迹象。父母需要更多优先考虑孩子。当孩子需要父母而父母不在时，他们很容易受错误信息误导，被所有外部来源误导。

# 我很同情这些父母，但你必须了解孩子的情况，尤其当孩子性格突变时——即使这意味着不愉快的互动，也该用爱来表达。这个孩子一直在暗示他很痛苦，需要干预。如果把聊天机器人从这个故事中去掉，悲伤的结局还是一样。

# 这真是太可悲了。我很容易就能看出孩子会如何对这个新“朋友”产生依赖，而现实生活和AI生活之间的界限正变得模糊。在八九十年代，我还在担心儿子花太多时间玩单机电子游戏。

# 我很遗憾，但这位母亲不能将缺乏适当的养育责任归咎于AI应用。他的手机使用权应该受到限制和/或完全剥夺。手机或电脑不该取代人际交往、成为一种安慰工具，但世界在短短几年内就变成了这样。孩子们不再在外面玩耍，不再与同龄人互动，他们“必须”24/7随身携带手机，电脑游戏在线等。好事做多了很快就会变坏。

# 这种情况将变得很普遍，人们不正常地依赖人工智能。西方世界正面临心理健康危机，对那些不符合社会规范或长时间工作的人来说，生活变得孤立和孤独。我的心与他的家人同在。