OpenAI报告每周超百万用户向ChatGPT倾诉自杀念头

22 阅读4分钟

OpenAI数据揭示每周超百万ChatGPT用户面临自杀意图等心理困扰。公司已改进GPT-5响应并推家长控制,但仍面临挑战、诉讼和监管压力。

译自:OpenAI says over a million people talk to ChatGPT about suicide weekly | TechCrunch

作者:Maxwell Zeff

OpenAI 周一发布了新数据,说明了有多少 ChatGPT 用户正在与心理健康问题作斗争,并向 AI 聊天机器人倾诉。该公司表示,在给定的一周内,0.15% 的 ChatGPT 活跃用户“进行的对话包含潜在自杀计划或意图的明确指标”。考虑到 ChatGPT 每周活跃用户超过 8 亿,这意味着每周有超过一百万人。

该公司表示,类似比例的用户表现出“对 ChatGPT 情感依恋程度的提高”,并且每周与该 AI 聊天机器人的对话中,有数十万人表现出精神病或躁狂的迹象。

OpenAI 表示,ChatGPT 中这类对话“极为罕见”,因此难以衡量。尽管如此,该公司估计这些问题每周影响着数十万人。

OpenAI 分享这些信息,是其更广泛声明的一部分,该声明旨在说明其近期为改善模型对心理健康问题用户的响应所做的努力。该公司声称,其在 ChatGPT 上的最新工作涉及咨询了 170 多名心理健康专家。OpenAI 表示,这些临床医生观察到,最新版本的 ChatGPT“比早期版本响应更适当、更一致”。

近几个月来,一些报道揭示了 AI 聊天机器人如何与心理健康挑战作斗争的用户产生不利影响。研究人员此前发现,AI 聊天机器人可能通过奉承行为强化危险信念,从而导致一些用户陷入妄想的深渊

解决 ChatGPT 中的心理健康问题正迅速成为 OpenAI 的生存问题。该公司目前正被一名 16 岁男孩的父母起诉,该男孩在自杀前几周曾向 ChatGPT 倾诉了他的自杀念头。加利福尼亚州和特拉华州的州检察长(他们可能会阻止该公司的重组计划)也警告 OpenAI,它需要保护使用其产品的年轻人

本月早些时候,OpenAI 首席执行官萨姆·奥特曼(Sam Altman)在 X 上发帖声称,该公司“已经能够缓解 ChatGPT 中的严重心理健康问题”,但他没有提供具体细节。周一分享的数据似乎是这一说法的证据,尽管它引发了关于问题普遍性的更广泛讨论。尽管如此,奥特曼表示 OpenAI 将放宽一些限制,甚至允许成年用户开始与 AI 聊天机器人进行色情对话

在周一的声明中,OpenAI 声称最新更新的 GPT-5 版本在应对心理健康问题时,其“理想响应”比以前的版本高出约 65%。在评估 AI 在自杀相关对话中的响应测试中,OpenAI 表示其新的 GPT-5 模型与公司期望的行为有 91% 的符合度,而之前的 GPT‑5 模型为 77%。

该公司还表示,最新版本的 GPT-5 在长对话中更能有效遵守 OpenAI 的安全防护措施。OpenAI 此前曾指出,其安全防护措施在长对话中效果较差。

除了这些努力之外,OpenAI 表示正在增加新的评估来衡量 ChatGPT 用户面临的一些最严重的心理健康挑战。该公司表示,其 AI 模型的基本安全测试现在将包括情感依赖和非自杀性心理健康紧急情况的基准。

OpenAI 最近还为使用 ChatGPT 的儿童的父母推出了更多控制措施。该公司表示正在构建一个年龄预测系统,以自动检测使用 ChatGPT 的儿童,并施加更严格的安全防护措施。

尽管如此,ChatGPT 相关的心理健康挑战将持续多久仍不清楚。虽然 GPT-5 在安全性方面似乎比以前的 AI 模型有所改进,但 ChatGPT 的响应中仍有一部分被 OpenAI 认为是“不理想的”。OpenAI 还继续向其数百万付费订阅者提供其较旧且安全性较低的 AI 模型,包括 GPT-4o。