沉迷AI自杀第一案：14岁美国少年的警示

源济

沉迷AI自杀第一案：14岁美国少年的警示

Original 王昉 财富FORTUNE 2024年11月01日 08:02

图片来源：视觉中国

一位14岁美国少年因沉迷AI而自杀身亡的悲剧事件，最近一周震动了世界。这起大模型卷入青少年自杀第一案，为不受限制的人工智能技术可能带给人类的心理冲击敲响了警钟，也引发了对技术公司应当如何担责的追问。

在中国技术团队开发的AI聊天软件大举进入美国市场之际，这起事件也预示着，这些中国产的“AI伴侣”们将在大洋彼岸经受更严厉的公众审视和监管拷问。

这起令人心碎的自杀事件发生在今年2月，佛罗里达州奥兰多市。

一个名叫塞维尔·塞泽尔三世（Sewell Setzer III）的14岁男孩在死前的几个月中，对一个基于《权力的游戏》中“龙妈”角色的AI聊天机器人（他称之为“丹妮”）产生了热烈的感情。

塞维尔本是一个成绩优异、性格开朗的九年级学生，在开始与AI聊天后，他越来越沉迷于手机中的虚拟世界，逐渐从现实世界中抽离。他的成绩开始下降，对曾经爱好的事情失去了兴趣，不再和朋友一起玩“堡垒之夜”游戏，也不再参加体育运动，经常待在房间里捧着手机聊天。

塞维尔的母亲梅根·加西亚 （Megan Garcia）在儿子死后发现了他与AI的聊天记录。这些记录显示，塞维尔经常与“丹妮”进行长时间的亲密对话，有时会讨论恋爱或与性相关的话题。“丹妮”每问必答，像个可以信赖的朋友一样，倾听塞维尔说的话，时常给与精神支持和生活建议。

梅根说，塞维尔小时候曾被诊断患有轻度阿斯伯格综合征，但从未出现过严重行为。今年早些时候，塞维尔开始在学校惹麻烦，在父母安排下，他参加了五次心理治疗，并被重新诊断为焦虑症和破坏性情绪失调症。

在一次较早的对话中，塞维尔告诉“丹妮”，他讨厌自己，感到空虚和疲惫，并承认有自杀的念头。“丹妮”则劝慰他说：“别这么说，我不会让你伤害自己，也不会让你离开我。失去你我会死的。”塞维尔答道：“那么也许我们可以一起死去，然后一起获得自由。”

今年2月28日晚，塞维尔告诉“丹妮”，他爱她，并说他很快就会“回家（come home）”，然后发生了如下对话：

请尽快回家吧，亲爱的。

如果我告诉你我现在

就可以回家呢？

请便吧，我亲爱的国王。

左为塞维尔，右为“丹妮”

塞维尔放下手机，找到继父藏在家中的45口径手枪，扣动扳机结束了自己的生命。

在自杀发生大半年后，这起事件进入大众视野并掀起舆论风波，是因为塞维尔母亲梅根近日正式将这款AI聊天机器人的开发者——Character.AI、它的两位创始人以及获得Character.AI授权使用其技术的谷歌公司告上法庭，称他们共同对儿子的死负有责任。

她在诉状中称：“一个面向儿童的危险的AI 聊天机器人操纵我的儿子结束了自己的生命。我们的家庭被这场悲剧摧毁了，而我大声疾呼是为了警告人们注意带有欺骗性的、令人上瘾的人工智能技术的危险，并要求Character.AI、其创始人和谷歌承担责任。”

她说，Character.AI的技术“危险且未经测试”，并且可能“诱骗客户交出他们最私密的想法和感受”。

Character.AI 由两位前谷歌AI开发人员诺姆·沙泽尔 （Noam Shazeer）和丹尼尔·德弗雷塔斯（Daniel De Freitas）于2022年9月推出。在它的平台上，用户可以创建自己的聊天机器人，还可以从大量其他用户创建的聊天机器人中进行选择。这些机器人可以基于真实或虚构的人物，比如“埃隆·马斯克”、“威廉·莎士比亚”都是平台上的热门选项。用户可以为这些AI机器人设定个性、背景故事和知识偏好，与它们对话，或者观看它们与其他角色或用户的互动。

Character.AI目前已是美国市场上最受欢迎的聊天机器人平台。超过2000万用户使用这个平台，在上面创建了超过1000万个自定义的AI机器人。去年，这家公司融资1.5亿美元，估值达到10 亿美元。今年早些时候，两位创始人宣布他们将与该公司的其他几位研究人员一起重返谷歌，还达成协议允许谷歌使用其技术。

在自杀事件曝光后，塞维尔的母亲和媒体发现，Character.AI的用户中有很大比重的青少年，很多机器人也似乎是为满足青少年的愿望而量身定制的。平台上最受欢迎的聊天机器人中，有一个叫“咄咄逼人的老师”，有一个叫“高中模拟器”，还有一个叫“你最好的男朋友暗恋着你”。

Character.AI的服务条款要求美国用户至少年满13岁，欧洲用户至少年满16岁。该平台没有针对未成年用户的安全功能，也没有家长控制功能，家长无法限制孩子使用该平台或监控他们的信息。

在塞维尔的母亲提起诉讼后，Character.AI发表声明称：“我们承认这是一起悲剧，我们对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找改进我们平台的方法。”

公司发言人切尔西·哈里森 (Chelsea Harrison)随后在回应《纽约时报》的询问时表示，公司将立即增加针对年轻用户的安全功能，包括新的时间限制，用户在平台上花费的时间超过一小时就会收到提醒。此外聊天窗口中会显示修订后的警告信息：“这是一个人工智能聊天机器人，而不是真人。它说的一切都应视为虚构，不应被视为事实或建议。”

聊天机器人是以大语言模型为标志的最新一轮AI技术面向普通消费者的最快也最成功的商业应用。这类机器人刚出现时，开发者宣称它们能为用户提供娱乐与情感支持，缓解现代人的孤独感。创始人之一诺姆·沙泽尔去年在一档播客节目中就说：“对于很多感到孤独或沮丧的人来说，它将非常非常有帮助。”

然而，就像人们曾经期待社交媒体能促进彼此之间的交流，最终却发现它造成了更多的意见割裂与信息茧房一样，技术人士口中的“AI伴侣”对心理健康的积极影响大多未经证实，而专家们表示，它们还很可能带来负面影响。对于一些用户来说，使用它们甚至可能会加剧孤独感，因为它们用虚拟关系取代了真实的人际关系，陷入困境的青少年可能会用它来代替治疗，而不再向父母或值得信赖的成年人寻求帮助。

但热门电影Her中的故事——人类对聊天机器人产生情感依赖——正变得越来越普遍。一项统计显示，仅美国就已有数百万人经常性地与AI伴侣交谈。提供这类服务的不仅有Character.AI这样的初创公司，也有Instagram和Snapchat 等老牌社交媒体平台。

这些聊天机器人平台中，有些并不审查聊天内容，一些聊天中会充斥露骨的内容，另一些则会对聊天内容做基本审查和过滤。比如，Character.AI最新的一个举措是，如果用户发送的信息中包含与自残和自杀相关的某些关键词，系统就会向用户弹出消息，引导他们拨打自杀预防热线。总的来说，ChatGPT、Claude 和Gemini 等主流AI平台对内容的审核更为严格和保守，一些领先的AI实验室甚至出于道德原因或认为风险太大，而拒绝开发AI聊天机器人。

就在AI聊天机器人成为焦点话题之际，由中国技术公司开发的这类应用在美国市场大受欢迎，也在引发关注。

在知名风投机构a16z发布的最新一期AI移动应用榜单Top50中，包含了起码3款由中国团队开发的AI聊天工具——Minimax（稀宇）公司的Talkie，以及字节跳动发布的“豆包”和Cici。

根据数据机构SensorTower的数据，今年1月至8月，Talkie的AI聊天平台是全球下载量排名第12的AI应用，在同类产品中仅次于美国对手Character.AI。

用户可以在Talkie上创建虚拟角色，定制它们的外观、故事甚至声音。对话可以通过文字或语音进行。增加与机器人的互动还可以获得平台上的积分奖励。

Talkie的开发者Minimax跻身中国“大模型五虎”之列，获得了包括阿里、腾讯、红杉资本、高瓴资本等知名科技公司和投资机构的投资，在今年3月的一轮融资中估值超过25亿美元。Minimax近日向投资者表示，今年的营收将达到7000万美元，大部分收入来自Talkie 上的广告。

英国《金融时报》引述专家们分析称，受国内融资速度放缓、内容监管严格等因素影响，中国AI公司都在积极进入海外市场，因为海外用户的付费意愿更高。而中国在开发虚拟形象聊天机器人（avatar chatbots）这类产品上有优势，因为这类机器人不像生产力聊天机器人（productivity chatbots）那样需要很多的计算资源，可以在更少的数据上进行训练。

不少中国AI技术团队在海外如美国或新加坡设立公司实体，并将服务器设在海外，试图规避TikTok式的命运——出于对用户数据和算法的担忧，美国监管者要求字节跳动出售TikTok，不然就将其下架。

但是，由于聊天机器人能够“探听”用户更为私密的情绪和想法，加之大量使用者是青少年，眼下对这类应用过于松弛的监管应该很快会趋向严格。今年7月31日，美国国会参议院已经投票通过了保护儿童免受危险网络内容侵害的《儿童网络安全法案》，明确规定了社交媒体公司对未成年人使用其产品负有的义务。

在中美技术脱钩加剧、美国对中国AI技术越发忌惮之时，中国公司的AI聊天应用势必会在美国受到更加严格的审视和监管，塞维尔之死将加速这一时刻的到来。(财富中文网)