人工智能可以分类投资披露,但测量仍需人工审计
一项新研究把投资顾问披露转化为可测量的人工智能研究流程,也提醒我们:测量设计和模型本身同样重要。
投资团队使用人工智能,不一定要从“寻找 Alpha”开始。更稳妥的入口,是把大量、杂乱的披露文件分类,再测量分类在哪些地方会出错。《Frontiers in Artificial Intelligence》最近发表的一项研究,就是把美国投资顾问的 Form ADV Part 2A 手册变成这样的研究流程。它最值得注意的地方,不是大模型能够阅读文件,而是定义、抽样、加权和验证方式一变,结论也会明显改变。
这才是值得投资研究团队学习的前沿:人工智能可以让文件研究更系统,但输出必须被视为测量工具,而不是事实本身。研究台真正需要保存的,不是演示文稿里一个漂亮的百分比,而是一份有日期、可复现、写明定义和误差审计的资料集,并且知道哪些边界案例由人检查过。
工作流从阅读变成测量
研究者从16,223家报告监管资产的美国证券交易委员会注册投资顾问中,按顾问类型和资产规模分层随机抽取400家,最终取得388份可用手册。团队预先设定五类:投资流程使用、运营或客户服务使用、人工智能相关风险、明确表示不使用,以及点名的人工智能供应商。大模型先做分类,随后进行同模型可重复性测试、对180份手册做盲法跨模型复编码,并对158个案例进行人工核验。查看研究原文。
这改变了过去“搜索、阅读、复制引文、计算提及次数”的工作:先定义观察单位,再分类、抽样复核、估计误差,最后连同测量规则一起发布。相同架构也可以用于财报电话会语言、风险因素变化、基金经理信函、投资授权,或另类数据供应商的研究。模型负责重复编码,研究员负责分类体系和争议裁决。
研究中的数字有参考价值,却很容易被滥用。样本中23.7%的手册披露了人工智能使用,加权后为22.7%;27.6%包含人工智能风险语言。披露比例从最小资产规模四分位的10.4%,升至最大四分位的43.8%。与人工编码比较,综合“任何使用”指标的精确率为0.76、灵敏度为0.81。简单关键词规则则漏掉或误判了大约四分之一案例。
这些数字只描述本次测量设计,并不等于投资人工智能的真实采用率。同一批文本在更换定义、顾问总体和加权方式后,可以得到9.9%、13.1%或23.7%的估计。行业调查可能报告更高的采用率,因为它也把试点和内部应用算进去,而这些应用未必出现在受信义务约束的披露中。两者的差异是研究对象不同,不能直接解释成“有多少公司采用却没有披露”。
投资研究台如何复现
先固定一批文件,并记录文件可获得的日期。阅读结果之前就写好标签规则。要先决定问题究竟是“是否提到人工智能”、 “是否实质用于投资流程”、 “是否用于运营”、 “是否披露风险”,还是“是否点名供应商”。这些是不同问题,不能压成一个分数。
让模型做有边界的第一轮分类。每条结果都必须带标签、原文引句、文件位置、置信度,以及“证据不足”选项。保存原始文本和模型版本。人工复核不要只挑模型最不确定的案例,而要在不同标签、资产规模和顾问类型中分层抽样。记录精确率、灵敏度、分歧和错误模式。如果修改规则导致结果变化,保留两个版本并解释原因。
这与 Agentic Trading:LLM交易代理需要证据账本以及 时间序列基础模型与金融收益先验中的方法论相呼应:投资人工智能的价值来自保存来源和时间边界,而不是让答案听起来更确定。
一次60分钟的研究测试
准备30至50份公开投资顾问手册,或另一组固定文件;不要把结果用于选股、选择客户或交易。基线是统计“artificial intelligence”“machine learning”和供应商名称等关键词。人工智能流程则使用五类标签,要求每条分类给出引文和页码,并从每一类随机抽取20%交给人复核。比较关键词与分类结果的一致率、复核样本中的精确率和灵敏度、不确定案例比例,以及缺少直接证据的重大分类数量。观察窗口为一次测试,并在七天后用同一批文件检查复现性。若模型不能给出引文、复核者无法对标签达成一致,或规则变化使核心结果超过预先设定的容忍范围,就停止。最终产物是测量备忘录,不是投资建议。
判断
更持久的机会不是让机器自主解释投资,而是让它可审计地压缩文件宇宙。模型可能减少搜索和编码劳动,却不能消除选择偏差、幸存者偏差、披露过时、文件长度效应,也不能消除机构把人工智能描述成能力或风险时的激励。研究中的网站比较也会受到文件长度影响,而且样本以2024年的顾问总体为基础,却观察较晚的披露。
对主观投资者,实践重点是要求引文和不确定性分类;对系统化团队,重点是按群体和时间检验定义是否稳定;对投资数据建设者,真正应该交付的是输入、标签、裁决和失效日期组成的审计轨迹,而不是看似精确的采用率。人工智能把工作流从“读完所有文件”改成了“测量一个样本”。人的责任,是确认这个测量仍然回答投资团队真正提出的问题。