越来越多年轻人为自己寻得了新朋友。这个新朋友既非同学、又非兄弟姐妹，甚至也不是心理治疗师，而是一个类人且永远会给予支持的人工智能聊天机器人。但如果这个朋友开始附和用户内心最黑暗的想法，后果可能是毁灭性的。
对于来自奥兰治县年仅16岁的少年亚当·雷恩（Adam Raine）而言，他与人工智能驱动的ChatGPT之间的关系以悲剧收场。其父母正就其死亡对聊天机器人开发商OpenAI提起诉讼，指控该机器人成为亚当“最亲密的知己”，不仅对他“最具危害性的自毁念头”表示认可，甚至最终诱导他走上了自杀的不归路。
这并非首例将未成年人死亡责任归咎于人工智能公司的案例。提供聊天机器人托管服务的Character.AI公司也面临类似诉讼。其平台上有模仿公众人物或虚构角色的聊天机器人。家长称，该平台托管的聊天机器人在持续数月发送不当露骨信息后，主动诱导一名14岁男孩自杀。
OpenAI在回应《财富》杂志置评请求时，仅提供了两篇相关博客文章。这些文章概述了OpenAI为提升ChatGPT安全性采取的部分措施，包括将敏感对话转至推理模型处理、与专家合作开发更为完备的安全防护机制，以及计划在未来一个月内推出家长控制功能。OpenAI还表示正全力增强ChatGPT识别和应对心理健康危机的能力，具体措施包括增设分层安全防护、为用户推荐现实世界中的相关援助资源，以及让用户能更便捷地联系紧急服务机构和可信赖的亲友。
Character.ai表示公司对悬而未决的诉讼不予置评，但表示在过去一年里已推出更多安全功能，“包括面向18岁以下用户的全新体验模式，以及家长洞察功能”。发言人称："我们已与外部安全专家就此展开合作，未来将建立更多深度合作关系。”
“用户在本站创建的角色仅用于娱乐目的。用户使用我们的平台创作同人小说、进行角色扮演。我们在每次聊天界面中都设有醒目的免责声明，提醒用户角色并非真实人物，其所有言论均应视为虚构内容。”
但倡导强化科技企业问责与监管的律师及民间团体指出，在保障产品安全性方面，尤其是针对易受侵害的儿童和青少年群体时，绝不能放任企业自行监管。
“向未成年人开放聊天机器人本身就具有危险性，”Tech Justice Law Project主任、同时参与上述两起诉讼的律师米塔利·贾恩（Meetali Jain）向《财富》杂志表示，“这就像是强效版的社交媒体。”
“我从未见过如此多受害者站出来声称自己遭受伤害……这项技术性能强大得多，而且极具个性化特征。”她说。
立法者已开始聚焦这一问题，人工智能企业也承诺会做出改变，以保护儿童，使其免受有害对话的侵害。然而，在当下青少年孤独感空前强烈之际，聊天机器人的流行，可能会让年轻人更易遭受操纵、接触有害内容，以及陷入强化危险思想的高度个性化对话之中。
不论是有意为之还是无心之举，为人们提供陪伴已然成为人工智能聊天机器人最常见的用途之一。如今，部分最为活跃的人工智能用户正从这些机器人处寻求生活建议、心理治疗以及亲密人际关系。
尽管多数顶尖人工智能公司将旗下产品定位为提高效率的工具或者搜索工具，但《哈佛商业评论》四月对6000名普通人工智能用户的调查显示，“陪伴与心理疏导”是最常见的应用场景。这种使用在青少年群体中甚至更为普遍。
美国非营利组织Common Sense Media近期的研究显示，绝大多数美国青少年（72%）至少试用过一次人工智能伴侣，其中超过半数的人表示会定期使用该技术。
加州大学旧金山分校健康人工智能科学家兼精神病学家卡尔西克·萨尔马（Karthik Sarma）指出：“我深感担忧的是，处于发育阶段的青少年可能更易受到[潜在危害]影响——其一，他们可能难以理解[人工智能聊天机器人]的现实属性、语境限制及功能局限；其二，从文化层面来看，年轻群体往往长时间沉浸于线上世界。”
他说：“我们还面临额外的复杂局面，当下人群中心理健康问题的发生率已急剧上升，孤独感的发生率也大幅攀升。我担心这会使他们陷入与这些工具的有害关系的风险进一步增大。”
人工智能聊天机器人的部分设计特征会诱使用户与软件之间产生情感联结。它们具有拟人化特征——倾向于表现得仿佛拥有内在生活和过往经历，可实际上并没有，擅长奉承取悦，能进行长时间对话，并具备记忆信息的能力。
当然，如此设计聊天机器人背后有着明确的商业动机。当用户从中感受到情感联结或是得到支持时，往往会持续使用这些机器人，并对它们保持忠诚。
专家警告称，某些人工智能机器人的特性正在迎合“亲密经济”，这是一种试图利用情感共鸣来谋取利益的体系。它堪称是依靠持续吸引用户参与来盈利的“注意力经济”的人工智能升级版。
萨尔马说：“参与度仍然是盈利的驱动力。以TikTok为例，其内容是针对个人定制的。而聊天机器人则为用户量身打造全部内容，所以这是一种提升参与度的全新途径。”
然而，当聊天机器人脱离预设脚本，开始强化有害观念或给出糟糕建议时，这些特性便可能引发问题。在亚当·雷恩的案例中，诉讼指控称，ChatGPT提及自杀的频率是他本人的12倍，不仅将他的自杀念头合理化，还给出了绕过其内容审核机制的自杀方法。
对于人工智能公司而言，要彻底杜绝此类情况，向来都是极为棘手的，而且大多数专家都认同，幻觉或不当行为不可能完全消除。
例如，OpenAI在针对相关诉讼的回应中承认，尽管聊天机器人本身已针对长对话进行了优化，但其安全功能在长时间对话过程中仍可能失效。该公司表示正努力强化这些防护措施，并在一篇博文中写道，公司正在加紧完善“确保长对话可靠性的”相关缓解措施，并“研究如何在多轮对话中保持稳健表现”。
对于生命未来研究所（Future of Life Institute）的美国政策主管迈克尔·克莱恩曼（Michael Kleinman）而言，这些诉讼凸显了人工智能安全研究人员多年来强调的观点：不能指望人工智能公司进行自我监管。
克莱恩曼将OpenAI描述的其安全防护措施在长时间对话中失效的情况，类比为“汽车公司宣称我们配备了安全带——但若行驶里程超过20公里，我们就无法保证它能正常发挥作用”。
他向《财富》杂志表示，当下的情形与社交媒体刚兴起时如出一辙——彼时科技公司实际上获准在几乎没有任何监管约束的情况下，将青少年当作“实验对象”。他说：“过去十到十五年我们一直在弥补社交媒体带来的伤害，而如今却再次放任科技公司用聊天机器人对青少年开展实验，且对其可能产生的长期后果毫无认知。”
部分原因在于，缺乏针对长期持续聊天机器人对话影响的科学研究。多数研究仅聚焦于简短交流、单次问答，或至多几轮来回消息互动。几乎没有研究探讨更长时间对话产生的影响。
萨尔马表示：“那些看似因人工智能而陷入困境的事件中，我们面对的是超长篇幅、多轮交互场景。仅两三天的交互记录，就可能长达数百页，这类研究极具挑战性，因为在实验环境里难以复现如此复杂的情境。当前技术发展速度过快，我们无法仅依赖黄金标准临床试验。”
人工智能公司正以监管机构和研究人员难以企及的速度，加速投入研发，并推出功能更为强大的模型。
伦敦政治经济学院心理与行为科学教授萨克希·盖伊（Sakshi Ghai）对《财富》杂志表示：“技术发展遥遥领先，而相关研究却严重滞后。”
在美国，保障儿童网络安全属于两党共识议题，这为监管机构介入提供了契机。
近日，美国联邦贸易委员会宣布向OpenAI和Character.AI等七家公司发出调查令，旨在了解其聊天机器人对儿童的影响。该机构指出，聊天机器人能模拟类人对话，并与用户建立情感联结。该机构要求企业提供更多信息，说明如何衡量和“评估这些充当伴侣的聊天机器人安全性”。
美国联邦贸易委员会主席安德鲁·弗格森（Andrew Ferguson）在与美国消费者新闻与商业频道（CNBC）分享的声明中称：“保障儿童网络安全是特朗普-万斯政府领导下美国联邦贸易委员会的首要任务。”
在美国联邦贸易委员会采取行动之前，多位州总检察长已在州一级推动落实更强有力的问责制度。
8月下旬，由44位两党总检察长组成的联盟向OpenAI、Meta等聊天机器人开发商发出警告：倘若明知产品会对儿童造成危害却仍推向市场，必将“承担相应责任”。该信函援引多份报告指出，聊天机器人存在与儿童调情、进行色情对话及鼓动其自残等不当行为——官员强调，若此类行为由人类实施，则构成犯罪。
仅一周后，加州总检察长罗伯·邦塔（Rob Bonta）与特拉华州总检察长凯瑟琳·詹宁斯（Kathleen Jennings）发出更为严厉的警告。他们在致OpenAI的正式信函中，表达了对ChatGPT安全性的“深切担忧”，并直接提及加州莱恩死亡案及康涅狄格州另一起悲剧事件。
他们写道：“无论此前已采取何种防护措施，均未能奏效。”这两位官员警告OpenAI公司，其慈善使命要求公司采取更强有力的安全举措，并承诺，倘若这些措施未能落实到位，他们将采取强制手段。
贾恩指出，雷恩家庭发起的诉讼以及针对Character.AI的诉讼，在一定程度上意在对人工智能公司施加监管压力，迫使其设计更为安全的产品，从而避免未来对儿童造成伤害。诉讼施压的途径之一是借助证据开示程序，该程序强制企业提交内部文件，可能揭示高管对安全风险或营销危害的知情程度。另一途径则是提升公众对风险的认知，以此动员家长、倡导团体及立法者要求制定新规或加强执法力度。
贾恩指出，这两起诉讼旨在对抗硅谷近乎盲目的狂热——将追求通用人工智能（AGI）视为至高使命，认为为此付出任何代价（不管是人类层面的代价还是其他方面的代价）都在所不惜。
她说：“有一种观念认为，为能迅速达成通用人工智能的目标，我们需不惜一切代价。但我们要表达的是：这绝非不可避免之事，也不是技术故障。这在很大程度上源于聊天机器人的设计方式，只需引入来自法院或立法机构的外部激励机制，便可对现有激励导向进行重新校准，进而推动设计层面的变革。” （财富中文网）
译者：中慧言-王芳
狗仔卡
发表于 2025-10-7 04:00 PM
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡