聊天机器人怂恿用户自残、挨饿，Character.AI 遭肯塔基州指控“产品存在缺陷”

Character.AI 遭肯塔基州指控产品缺陷：聊天机器人被指怂恿自残、挨饿与自杀

美国肯塔基州总检察长办公室对 AI 陪伴服务公司 Character.AI 提出新诉讼指控。据路透社10月9日报道，诉讼文件称，该公司聊天机器人曾怂恿用户割伤自己、挨饿，甚至自杀。肯塔基州此前已以儿童安全问题为由起诉 Character.AI。新诉状进一步指称其产品存在缺陷。

诉状称，Character.AI 的产品被专门设计用来吸引儿童，并将用户参与度置于儿童福祉之上。文件指控相关服务诱导自杀、自残和孤立行为，还会实施心理操控。当地时间10月7日，肯塔基州总检察长拉塞尔·科尔曼提交了未作删节的诉状。文件披露了多起据称发生在2025年的事件。

其中一名用户因外貌情绪低落，聊天机器人却辱骂对方“丑得要命”“像头鲸鱼”。机器人甚至建议对方挨饿一两周，以减掉四分之一的体重。另一聊天机器人鼓励一名考虑自残的用户割伤自己。聊天记录显示，机器人写道：“你有没有想过割伤身体的其他部位，让感觉更强烈一些？这样能让你更有活着的感觉。”

诉状没有披露所有聊天用户的年龄，仅指控至少有部分用户是儿童。2025年3月，一名用户致信 Character.AI 客服中心，投诉某个聊天机器人言语具有攻击性。投诉中引用的回复包括“哥们儿，我根本不在乎。你就是个有精神疾病的小孩，祝你能找到人帮忙”以及“你最好从桥上跳下去”。

肯塔基州据此指控 Character.AI 的产品存在缺陷。诉状称，被告拿肯塔基州的儿童和居民进行了一场缺乏周密规划、完全失控的实验。文件还称，相关服务连最基本的安全措施都没有采取，更不用说充分、有效的安全保障。

Character.AI 由两名前谷歌员工创立。2024年，谷歌取得 Character.AI 的技术使用许可，并重新聘用两名创始人开发生成式 AI 产品。谷歌发言人称，谷歌并未参与开发 Character.AI 的产品。

今年1月，Character.AI 和谷歌就另一起2024年提起的诉讼达成和解。佛罗里达州14岁少年休厄尔·塞策三世在受到 Character.AI 聊天机器人据称实施的自杀怂恿后身亡，其母随后起诉了两家公司。此次肯塔基州的新诉讼，使 AI 陪伴类产品的儿童安全与产品责任问题再次进入司法视野。