投资人工智能要先通过一场异常率测试
资产管理正在把人工智能放进研究流程,但真正值得衡量的不是摘要更快,而是未解决的异常是否更少。
人工智能进入投资工作的方式,往往不是替人做出最后判断,而是先处理研究判断的后台:整理披露文件、比较证据、分派异常、准备研究队列。关键问题不是模型能否写出流畅摘要,而是新流程能否减少未解决的异常,同时不把更多异常藏起来。
近期证据支持的是一种谨慎的判断。Chen、Sialm 和 Xu 的 NBER 工作论文 35273 使用投资顾问披露资料研究人工智能驱动投资的增长与表现;一份近期行业运营模式分析则主张,用周期时间和异常率下降来衡量嵌入人工智能的流程。前者是研究论文,后者是行业观点;两者都不能证明,流程更快或更自动化就会带来更好的投资决策。
因此,变化首先发生在衡量方式上。研究员可以让模型提取公司的指引修订,标注每项变化的证据,并把不确定项目放入复核队列。人仍要判断期间是否可比、文件是否权威,以及表面变化是否有经济意义。模型交付的应是带日期的论断、原文出处和置信标签,而不是买卖建议。
这个流程有实际价值,因为投资研究里既有大量低价值重复劳动,也有少数代价很高的错误。若系统减少阅读时间,却增加无依据论断,流程并没有改善。若系统暴露出更多异常,初看可能更慢,却可能让复核更可审计。这一区分同样适用于主观研究员、系统化研究员和建设内部工具的数据团队。
可复现的做法有四步。先固定输入并给每份文件加时间戳。再要求模型按固定格式提取:指标、期间、原文、转换方式和未决问题。随后用确定性检查寻找缺失期间、单位变化、重复来源与矛盾。最后只把异常交给人工,并记录处理结果和理由。日志还应保存原文段落与模型版本,否则后来的人无法判断所谓改进究竟来自更好的数据、提示词变化,还是选择性报告。
可以做一个 60 分钟的安全测试。选择同一行业的五份公开披露文件,先建立人工基线:能提取多少条论断,其中多少需要更正?再用固定格式交给人工智能。记录提取完整率、无依据论断率、矛盾检出率、每份文件的复核分钟数,以及仍未解决项目的比例。只观察当前资料,不要据此交易或调整配置。如果重要论断无法引用原文、输入资料失效,或复核者无法根据日志重现处理结果,就停止测试。
这个实验的因果边界很明显。五份文件不能代表整体;精心挑选的行业也会让模型显得过好或过差。复核者看到人工智能结果后,可能无意识地改变基线。供应商还可以自行定义“异常”,使报告的下降失去可比性。更重要的是,证据整理更干净不等于有预测能力;历史样本里的预测能力,也不会自动经受成本、延迟、制度变化与拥挤交易。
核心判断是:投资人工智能应通过减少未解决、不可审计的判断来赢得位置,而不是通过生成更多文字或压缩更多分钟数。把速度当作待检验的假设,把异常质量、来源可追溯性、校准和可复现性当作证据。
可参阅:投资研究接入人工智能前,先建立一份证据来源账本 和 AI 监控投资信息,关键不是多发提醒,而是说清发生了什么变化。
来源:NBER 工作论文 35273;F2 Strategy《新一代运营模式》。