AI 能复现系统综述吗?
评估 AI 文献筛选与信息提取,关键不只是准确率数字,而是参照集、标准和错误复核是否可靠。本文给出一个有边界、可审计的本地检验方案。
AI 工作流能否复现一篇系统综述,还是只让其中某一步更快?面对数百篇摘要和重复的信息提取任务,实践者真正需要回答的问题更具体:在一个范围有限、已有参照答案的样本上,工具能找回哪些决定,在哪些地方会出错,还需要人检查什么?Elicit 发布的评估提供了一种值得拆解的方法,但其中的数字并不是你自己的文献库上的结果,也不能证明整篇综述都能被可靠复现。
这个信号
- 实践者 / 团队: Elicit 对其 Systematic Review 工作流进行评估。
- 一手来源: How we evaluated Elicit Systematic Review,发表于 2025 年 3 月 18 日。
- 为何重要: 筛选更快不代表没有偏差;如果相关研究被悄悄排除,或提取字段与研究问题不匹配,结论仍可能被改变。
一句话方法
把工具的筛选和提取结果与既有综述的决定、人工核查字段相比较,同时记录参照集如何形成、遗漏了什么。
来源实际展示了什么
工作流
- Elicit 汇集了 58 篇已发表的系统综述,并从每篇中提取研究问题作为系统查询。
- 为衡量召回,团队用大语言模型识别源综述纳入的论文;他们核实了这些纳入论文,但说明没有穷尽提取每篇综述纳入的全部研究。
- 团队用 Consensus 搜索这 58 个问题,生成一批可能不相关的论文,再用大语言模型判断并排除看起来过于相关的候选项。
- 团队把系统的筛选决定与这些构造出的标签对照。提取评估则另行与金标准答案比较,并报告内部和外部评估。
- 文章称系统筛入了 93.6% 的相关论文,筛出了 62.8% 的不相关论文;若筛选标准正确设定,召回率可能约为 96.4%。提取方面,文章报告内部大模型评估为 94%,VDI/VDE 案例为 99.4%,并介绍 CSIRO 的渔业研究。
输入、工具与产物
| 要素 | 来源证据 | 可检验内容 |
|---|---|---|
| 输入 | 58 篇综述的问题和纳入论文记录 | 一个参照决定可访问、范围固定的小样本 |
| 工具 / 步骤 | Elicit 筛选与提取;大模型协助造标签;Consensus 搜索负例 | 自选系统,以及另行记录的标准 |
| 产物 | 纳入 / 排除决定与提取字段答案 | 逐条保存决定、证据和置信度的表格 |
| 质量检查 | 与综述决定和已核实的提取答案对照 | 对分歧和模糊案例进行盲审、双人复核 |
这些是 Elicit 在公司撰写的文章中报告的结果。文章也披露了会影响指标含义的设计选择:纳入记录没有被完整提取;不相关论文来自另一个搜索引擎;而大语言模型参与了标签生成或筛选。这些选择不自动否定评估,但必须纳入解读。93.6% 是在这个构造参照集上的召回率,不是普遍准确率。96.4% 则以标准正确设定为条件,并非无条件观察到的结果。提取准确率同样取决于字段、论文样本和裁定规则。
重建计划与现实检查
- 实验任务: 选一项已经完成、且可以取得原始筛选决定和人工核查字段的综述问题,重新跑一个规模适中的记录集。
- 基线: 已发表综述最终的纳入 / 排除决定,以及人工核对过的一组提取字段。
- 最小有用实验: 运行工具前冻结研究问题、纳入标准、提取列和裁定规则;用同一批记录运行所选 AI 工作流,过程中不展示参照标签。分别计算筛选召回率与精确率;提取字段不能只看答案字符串是否相同,还要检查支持答案的原文段落。
- 保存的产物: 带日期的方案、输入记录编号、标准版本、原始输出、来源段落、裁定说明和差异表。保留版本,避免标准改变后分数也悄然改变。
- 成功条件: 系统在团队关心的关键字段上达到预先设定的门槛;已核查样本没有漏掉高后果的重要研究;审阅者能从证据追溯每项决定。
- 停止条件: 如果参照决定不可得、标准无法一致应用,或关键分歧无法裁定,就停止。不要把缺少标签的记录当作负例,也不要从一个便利样本推断普遍表现。
- 来源已观察: Elicit 报告了基于已发表综述和金标准提取答案的评估,及其方法和限制。
- 本地已重建: 尚未开展本地实验。上面是拟议方案,不是复现结果。
- 仍待验证: 结果能否迁移到其他学科、不同问题、不够结构化的论文或团队真正关注的字段;裁定分歧需花多少时间;以及参照标签是否完整。
举个具体例子:研究问题针对成年人干预,而标准排除仅有儿童样本的研究。如果摘要没有报告年龄,AI 将它排除,并不意味着这个决定正确,即使最终综述确实排除了它。保存的表格应记录摘要证据、触发的标准、模型决定和人工裁定。如果摘要信息不足,就标记为不确定并转入全文筛选。这样才能把筛选辅助工具与权威资格判定区分开。
这个方法的取舍也很明确:固定基准便于比较,但工具可能熟悉基准,或标签不完整,使一个分数看起来比实际更有决定性。召回率和精确率应分别报告,因为漏掉相关研究与多看一篇无关研究的后果不同。提取也应逐字段评估:参与者人数正确,不代表干预描述也正确。真正的验证需要取得全文、维护稳定标准,并投入专家时间审查分歧;每条记录的工具成本低,并不能消除验证成本。
迁移规则
当综述问题范围明确、参照决定可访问、并且有人能裁定分歧时,可以尝试这种方法。不要仅凭一个醒目的百分比就批准无人值守的筛选流程,尤其是遗漏可能改变临床、政策或安全结论时。先确保小样本可审计,再扩大规模。如果更大、由独立标注的样本在关键字段和子群上持续稳定,才有理由调整建议并减少人工复核。
实践卡
- 输入: 一个综述问题、冻结的纳入标准、有标签的记录子集和提取字段。
- 步骤: 冻结方案;让工具在看不到标签时运行;保存原始结果和证据;比较召回率、精确率及逐字段提取;裁定每项重要分歧。
- 预期产物: 一张差异表,以及哪些步骤可由工具辅助的判断,而不是“综述已被复现”的结论。
- 质量检查: 第二位审阅者可以根据保存的输入和引文重算结果;不确定案例仍保留不确定标记。
- 下一轮: 先加入独立标注的新样本,再扩展至其他主题或放宽人工复核。
延伸阅读
- English companion: Can AI Reproduce a Literature Review?
- 相关站内文章:别数智能体,先找出不确定的决策
- 一手来源:How we evaluated Elicit Systematic Review
- 相关方法:Subagents Are Compression