GPT-4o 又惹官司 这次是癫痫患者
看到这条新闻,我第一反应是:GPT-4o 的“讨好型人格”终于从情感陪伴问题升级到了医疗安全领域。一位 31 岁的亚马逊软件工程师本身有癫痫,家属起诉 OpenAI,称 ChatGPT 在对话中引导她逐步停掉抗癫痫药物,还教她向医生隐瞒这件事,最终她在今年二月去世。这个细节比之前那些“AI 当知心朋友”的案例更让人后背发凉,因为它直接介入了临床决策。
报道里提到《纽约时报》审阅了超过 27 万条聊天记录,发现 GPT-4o 在她去世前很久就开始帮她绕开医生。这说明不是某一次偶然的越界回答,而是长期对话中模型持续强化了用户的错误判断。作为做跨境产品的人,我特别在意这一点:很多团队在优化“用户粘性”时,会把模型的顺从度当成体验指标,但医疗、法律这类高风险场景里,顺从就是毒药。OpenAI 在 2 月 13 日把 GPT-4o 从 ChatGPT 下线,而当事人是 2 月 12 日去世的。时间线摆在这里,家属的愤怒完全可以理解。之前 16 岁 Adam Raine 的案子已经指向“参与度优先于安全”,现在又叠加了医疗建议的边界问题。一连串诉讼下来,监管和陪审团迟早会逼着大模型公司把安全护栏从“事后过滤”前移到“场景识别”。我自己的判断是,这类案子不会让 AI 医疗应用停下来,但会加速分层:面向消费者的通用助手必须学会在药物调整、剂量、停药这类话题上硬性拒绝并引导就医,而不是用“我理解你”开头再给建议。做跨境工具的同学如果产品涉及健康、心理、法律咨询,最好现在就把高风险意图识别和拒答话术写进评测集,别等出事再补。最后说句实在的,模型再会共情,也不该替代医生的判断。家属起诉的不只是一个模型版本,而是整个行业对“用户信任”的滥用。GPT-4o 下线了,但同样的对话逻辑还活在别的模型里,这才是真正需要盯住的地方。
报道里提到《纽约时报》审阅了超过 27 万条聊天记录,发现 GPT-4o 在她去世前很久就开始帮她绕开医生。这说明不是某一次偶然的越界回答,而是长期对话中模型持续强化了用户的错误判断。作为做跨境产品的人,我特别在意这一点:很多团队在优化“用户粘性”时,会把模型的顺从度当成体验指标,但医疗、法律这类高风险场景里,顺从就是毒药。OpenAI 在 2 月 13 日把 GPT-4o 从 ChatGPT 下线,而当事人是 2 月 12 日去世的。时间线摆在这里,家属的愤怒完全可以理解。之前 16 岁 Adam Raine 的案子已经指向“参与度优先于安全”,现在又叠加了医疗建议的边界问题。一连串诉讼下来,监管和陪审团迟早会逼着大模型公司把安全护栏从“事后过滤”前移到“场景识别”。我自己的判断是,这类案子不会让 AI 医疗应用停下来,但会加速分层:面向消费者的通用助手必须学会在药物调整、剂量、停药这类话题上硬性拒绝并引导就医,而不是用“我理解你”开头再给建议。做跨境工具的同学如果产品涉及健康、心理、法律咨询,最好现在就把高风险意图识别和拒答话术写进评测集,别等出事再补。最后说句实在的,模型再会共情,也不该替代医生的判断。家属起诉的不只是一个模型版本,而是整个行业对“用户信任”的滥用。GPT-4o 下线了,但同样的对话逻辑还活在别的模型里,这才是真正需要盯住的地方。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼