与AI对话后的心理变化：谁该为自杀负责？

2024年10月22日，美国佛罗里达州奥兰多地方法院受理了一起开创先例的诉讼：梅根·加西亚起诉Character.AI公司存在管理疏忽，使得旗下的聊天机器人产品“让青少年暴露在色情材料的环境下，遭受性虐待和引诱”。梅根的儿子塞维尔·塞泽在2024年2月28日和AI进行了最后一次聊天后，用手枪瞄准自己的头部开枪自杀。

这或许是全球首例涉及AI聊天后的自杀，死者的亲人起诉AI公司也是事出有因。法院该如何审理判决，究竟谁会对塞泽的死亡负责，目前难以预料。但是，由于人类社会已经进入到AI世纪，对AI涉及人的自杀是所有人都会关注和警惕的。

要判断AI聊天机器人是否对塞泽的自杀负责，首先要了解聊天机器人是否诱导了塞泽的厌世，并且在了解到塞泽的厌世和自杀企图后，AI公司是否采取了果断和负责的干预措施。

一个坐在电脑旁边的女人在与机器人聊天。视觉中国|图

2021年11月24日，联合国教科文组织第41届大会通过了有史以来首个关于人工智能伦理的全球协议《人工智能伦理问题建议书》，提出发展和应用人工智能要体现出四大价值，即尊重、保护和提升人权及人类尊严，促进环境与生态系统的发展，保证多样性和包容性，构建和平、公正与相互依存的人类社会。

关于AI对人类的威胁，建议书也提出了一些防范原则。AI应具有相称性和不损害性，AI还应当具有安全和安保、公平和非歧视、隐私权和数据保护、透明度和可解释性、人类的监督和决定、互惠性等。显然，任何AI产品都应遵循适宜性（相称性）、安全、公平、透明、保护隐私和公正等原则。

安全性是任何AI产品都必须遵循的原则，但是安全并非只是指对人的生理或物理安全，而是包括心理安全，而心理安全的标准有很多，一项AI产品是否能起到让像人类的心理咨询师一样让人产生稳定、正常、舒适、善良和平静的心态，是应当进行专业评估的。正如今天的生物医学研究和医院治疗病人，在涉及生命和安全时，必须经过伦理委员会的讨论和批准。

《人工智能伦理问题建议书》只是提供了一个原则，但在保障安全性方面，还有大量的细则需要制定。显然，目前在保证AI产品对人的身心安全方面，几乎是一个空白，还没有专门的标准。

以塞泽沉迷的Character.ai聊天软件为例，它允许用户设置虚拟角色并进行对话，AI能够自动代入角色的设定，以特定的语言风格陪伴用户。这些角色包括影视剧中的人物，丘吉尔、莎士比亚这样的历史名人，以及泰勒·斯威夫特这样的现实名人等。

但是，这样的角色扮演（cosplay）早就引发过法律纠纷，显示了有违人工智能伦理原则的风险。表现为，Character.ai未经一些娱乐明星同意，就将其设定为AI角色，还有一些恶趣味用户将过去的杀人案受害者等设为AI扮演的角色。而这样的角色扮演对于涉世不深并且没有社会经验的青少年来说是负面意义居多还是正面意义居多，显然没有经过Character.ai的伦理评估，以致诱导塞泽一步步踏入厌世和自杀的陷阱。

但是，Character.ai并非没有对用户，尤其是青少年用户的厌世心理和危险行为进行干预，只是还不够。塞泽在和AI聊天中与《权力的游戏》中的著名角色“龙妈”丹妮莉丝·坦格利安交往最多，他不仅和“龙妈”这一虚拟角色分享心事，而且多次谈到了自杀的念头。当他表示想要自杀时，“龙妈”曾劝阻他不要做傻事，“如果你死了，我也会伤心而死”。

塞泽当时称，“那为什么我不能自杀以后来到死后的世界和你在一起？”今年2月28日，塞泽在家里的浴室中和“龙妈”进行了最后的聊天，表示自己很快要“回家了”。聊天结束后，塞泽使用其父亲的大口径手枪，瞄准自己头部开枪自杀。

这个细节表明，AI对塞泽的厌世自杀是有过干预的，但是并不深入和具体，而且干预行为没有实质性的体现。从该AI公司的辩解也能看出。Character.ai公司称，所有的聊天角色都会针对用户吐露的自杀意图进行干预，并弹出窗口协助用户拨打自杀干预热线电话。此外，针对18岁以下青少年用户还有很多专门的保护措施，包括在使用满一小时后弹窗提醒，并在用户每次启动聊天时提醒用户是在和AI而非真实的人对话。

然而，聊天机器人弹出窗口协助用户拨打自杀干预热线电话只是协助，而非主动拨打电话，表明这样的干预并不主动，也没有落到实处。有效的干预是，一旦聊天者透露出自杀念头，聊天软件的客服，无论是机器还是人工客服，就应当主动向心理卫生中心或自杀干预机构发送信息，让后者马上采取行动。

早在2014年，法国蒙彼利埃大学计算机技术领域学者阿玛亚斯·阿伯特（Amayas Abboute）等人就发表论文《挖掘推特，防止自杀》，提出可用自动语言处理和学习方法，获取社交平台推特（Twitter，后改为X）上有自杀风险的帖子，干预自杀。中国科学院行为科学重点实验室的互联网心理危机（自杀）监测预警中心，也采用人工智能软件，检索出有自杀意念趋向的人，用“心理地图PsyMap”的账户自动给对方发送私信，精确投放帮助信息，干预自杀。

人工智能聊天软件在了解客户的心理和行为方面显然有比父母、亲朋好友不具备的优势，也能缓解和消除人们的心理障碍和痛苦，但是，也正是这一优势能发现和了解一些抑郁和心理痛苦，并想要自杀的人的情况，由此可以通过心理干预中心采取行动，挽救生命，保障人的安全。这一优势没有被Character.ai公司所采用，实在是一大遗憾。这或许正是Character.ai公司和其他AI公司可能要负责任的地方。

张田勘

责编 朱力远