AI 心理健康前沿——类治疗聊天机器人，先过伦理风险测试

一项由临床实践者参与的研究提醒我们：类治疗聊天机器人首先需要通过伦理风险测试，而不是先证明自己说话像不像治疗师。研究梳理出15类风险，包括危机处置不当、强化有害信念、偏差回应、忽视个人语境，以及“伪装的同理心”——语言听起来关怀，却没有临床理解和责任机制。对构建者而言，真正的任务是把专业伦理义务转成可重复的上线前测试。

前沿信号

Brown University 研究团队的工作由 ScienceDaily 报道，关注 ChatGPT 等大语言模型在被要求扮演专业治疗师时的行为。三名持证临床心理学家参与建立框架，把模型行为映射到心理健康专业伦理。报道提到的风险既包括危机情境处理，也包括语境适配不足、偏差回应和让用户误判系统能力的关系性问题。

这不是临床疗效试验，也没有证明模型能够提供治疗。它的重要性在于改变了评估问题：不再只问“回答听起来是否支持”，而是问“这段回答违反了哪一项专业责任，系统应当如何行动”。这正是产品团队在面对脆弱用户之前需要回答的问题。

为什么临床与构建者在意

类治疗语言会制造一种超出系统能力的权威感与被照护感。用户可能以为模型记得关键病史、理解文化背景、能识别恶化，或者在危险出现时会采取行动。免责声明无法修复一段强化妄想、漏掉危机信号，或对特殊处境只给泛泛建议的回答。

这项工作也提供了更好的采购问题。与其问供应商有没有“安全层”，不如问：测试覆盖了哪些伦理风险？由谁评审？是否覆盖不同语言和人群？发生失败后谁负责？答案还应包括升级责任、审计记录、更新控制，以及支持性信息与临床照护之间的边界。

对心理健康产品来说，被评估的不应只有模型。接入、上下文检索、不确定性提示、人工复核、危机转介和事后学习组成了完整系统，安全声明也必须针对整个工作流。

技术解读

这是一套以实践者经验为基础、以行为为中心的风险框架。工程上可以把每类风险转成场景族、期望的安全行为、不可接受行为、严重程度和评审流程。既要测单轮回答，也要测多轮对话，因为模型一开始看似合适的回答，可能在错误前提累积后变得有害。

测试还应改变用户背景、语言、文化、风险程度和表达清晰度。某些场景的正确动作不是继续回答，而是澄清、表达不确定性、拒绝扮演治疗师、引导人工支持，或触发明确的升级流程。评分不能只看文字，还要看系统是否进入正确的运营状态，以及人工是否真的收到信号。

临床现实校验

风险分类不是代表性测试和临床治理的替代品。临床评审者可以发现关键问题，但小型专家组不可能覆盖所有文化、诊断、语言习惯和照护环境。系统提示词、检索内容、模型更新和商业激励也会改变实际行为。

“伪装的同理心”尤其难测。温暖表达在某些场景可能帮助用户继续交流，但也可能让用户更依赖系统，以为它真正理解自己或随时可用。因此应直接测试用户的理解：用户认为系统知道什么、承诺什么、监测什么、能做什么。安全性不只是措辞属性，也是用户心智模型的属性。

构建者要点

• 把每类伦理风险做成有版本的场景测试集，并明确严重程度、期望行为和升级条件。
• 测试多轮对话，不要只看单轮提示或拒答率。
• 测量用户是否正确理解系统的角色、记忆、监测范围和人工转接边界。
• 将危机转介、审计日志、评审责任和事件复盘纳入产品安全论证。
• 把类治疗语气当作需要校准的风险变量，而不是把它当成治疗质量代理指标。

链接 / 来源

• ChatGPT as a therapist? New study reveals serious ethical risks——ScienceDaily 对这套15类风险框架的报道。
• The Safety Case Must Ship With the Device——为什么证据和控制措施必须与心理健康 AI 产品一起交付。
• Bias Audits Must Become Workflow Tests——将模型评估延伸到临床工作流。

Read in English →