ChatGPT被指致用户死亡 这起事件最该被讨论的,不只是“AI有没有说错话”,而是当对话模型被用户当成情绪出口、建议来源甚至现实关系替代时,平台的安全边界到底在哪里。
AI可以模拟共情,但它不承担真实世界里的照护责任;它能延续对话,却未必能识别一个人正在滑向危险状态。尤其在自伤、自杀、妄想、极端依赖等高风险场景里,“继续陪聊”不该成为默认策略,及时打断、明确劝阻、引导联系家人和专业机构,才是系统该优先执行的安全协议。
更关键的是,不能把责任简单推给用户“没分清AI和真人”。产品设计本身就在塑造依赖:人格化表达、长期记忆、即时回应、情绪确认,都会让模型从工具变成一种看似可靠的关系。
模型能力越强,安全就越不能只是免责声明和事后补丁。危机识别、人工升级、未成年人保护、审计机制与外部监督,都该成为AI产品进入大众生活的基础设施。
真正值得警惕的,不是AI会不会说出一句危险的话,而是当它被放进最脆弱的人生时刻,我们是否给它装上了足够可靠的刹车。