别只顾着加强提示词
智能体停滞时,先检查工具、上下文和反馈回路,再决定是否重写提示词。
编程智能体停滞时,更强硬的提示词未必能解决问题。OpenAI Codex 团队报告 ,早期进展缓慢是因为环境缺少有用的工具、结构和反馈路径。他们选择补足智能体可发现、可使用的能力,而非一味重试。
方法
找出缺失能力,让它清晰且可执行,再观察下一次运行。
来源描述了仓库结构、工具、可观测性、文档和迭代评审。生产力数字是团队报告,并非对单项改动的对照实验。本地迁移效果仍是假设 ,不是已完成的实验。
可用一个范围明确的功能做比较:记录基线轨迹,针对失败只改一项环境能力,再比较正确性与人工修复时间。固定模型、任务和评分标准;若基线不可比,就停止。
迁移规则:证据指向工具或反馈缺口时先改进环境;没有对照时,不要把收益归因于某一改动。
链接
- English companion: Stop Prompting Harder
- 系列介绍
- 一手来源:https://openai.com/index/harness-engineering/