Long-Horizon AI Research
创建时间： 2026-05-11
来源： [[sources/Yao Shunyu Let Me Go a Little Crazy! Training Models at Anthropic & Gemini, Heroism Is Over - 逐字稿.md]]
相关： Yao-Shunyu-GDM，Agent-Paradigm-Shift，Post-Training-Era，Vibe-Coding-to-Agentic-Engineering，AI-Research-Collectivism
Long-horizon AI research 指的是让模型完成跨越更长时间、更长步骤、更复杂状态管理的任务。Yao Shunyu 将它与 ML coding 一起视为当前最重要的研究方向之一：让模型在有限训练长度下，使用时表现得像能处理无限长任务。
核心问题：Train finite, use as infinite
直接把上下文窗口无限拉长不是唯一解，也未必是现实解。Yao 更感兴趣的问题是：
能不能在有限上下文和有限训练长度下，让模型完成长期任务？
人类本身就是这种系统。人的即时上下文很短，不会记住昨晚吃了什么这种无关信息；但人会选择性遗忘、选择性检索，把当前任务需要的信息重新拉回来。
因此，long-horizon 的关键不是「什么都记住」，而是：
- 知道什么该忘；
- 知道什么该存；
- 知道什么时候检索；
- 在任务推进过程中维护中间状态；
- 在有限上下文中持续做长期工作。
两类路线：预训练与后训练
Yao 将 long-horizon 路线粗略分成两类：
- 预训练路线：例如 sparse attention、长上下文数据、架构和训练技巧。它要求训练数据本身包含足够长程的结构。
- 后训练 / 产品路线：例如 Cursor 式 context management，让模型学会判断中间片段是否重要、是否该丢弃、是否该写入文件、是否之后再检索。
他个人更偏向后训练路线，因为这更符合「短训练、长使用」的哲学。预训练路线仍依赖长上下文数据，而后训练路线更像教模型在有限资源下管理任务。
ML Coding：让 AI 加速 AI 研究
ML coding 是 long-horizon 的一个具体高价值场景。目标不是简单让模型写代码，而是让模型逐步参与完整 AI 研究链条：
- 写实验代码；
- 跑实验；
- 查看结果；
- 分析失败原因；
- 提出新假设；
- 设计新实验；
- 继续迭代。
这条链目前尚未完全闭合，但 Yao 认为未来 6-12 个月内，它会逐步变得完整。当前 AI 已经能帮助研究员加速一部分实验，但还不能稳定地从头到尾完成一个 AI research project。
Agentic Coding 是已完成的节点
Yao 把 agentic coding 看成「模型使用工具并与环境交互」大范畴中已经被证明的节点：
- 工具：代码编辑器、终端、文件系统、测试框架；
- 环境：虚拟机或用户电脑；
- 反馈信号：测试是否通过、程序是否运行、benchmark 是否提升；
- 数据来源：大量代码和软件工程任务。
AI research automation 是从 agentic coding 横向扩展出的新场景；long horizon 则是纵向延长任务规模。两者合起来像一个 T 形扩展：横向扩展使用场景，纵向延长任务链条。
为什么 Coding 是好抽象
Yao 认为 coding 重要有两个原因：
- 它能形成研究飞轮：如果模型能写好代码，就能倍增 AI 研究效率。
- 它是工具使用和环境交互的好抽象：反馈信号清晰，数据丰富，其他场景很难同时具备这两个条件。
这与 Post-Training-Era 对「Agent 范式吃后训练」的判断一致：只有当环境、反馈、数据和任务链条足够清楚时，后训练才真正能 scale。
Benchmark 失效后的新目标
Yao 认为，公开 benchmark 的意义正在下降。SWE-bench、AIME、IMO、RKGI 等指标很快被前沿模型刷到接近上限，说明大家已经掌握某些 know-how，单纯争榜不再能代表真正突破。
下一个更重要的目标可能不是在公开 benchmark 上继续提高几分，而是：
- ML coding；
- long-horizon tasks；
- 多模态生成；
- 持续学习；
- 更完整的 AI research loop。
其中 long horizon 既是产品能力，也是研究能力。它决定模型能否从短对话工具变成真正能跨时间推进复杂工作的智能体。