技术视频 · 2026
看懂答案却不会做?AI 也有这个毛病
从大模型的在线策略蒸馏,聊到练习、犯错与反馈。一支把技术概念讲给更多人听的视频。
在 B站观看 已发布 · 7 分 40 秒

这支视频想解释什么
看答案时觉得全懂,轮到自己做却卡住了。视频从这个熟悉的体验出发,介绍大模型训练中的在线策略蒸馏(On-Policy Distillation,OPD),再聊聊它对练习与反馈的启发。
讲解围绕三个问题展开:学习用的数据从哪里来,反馈落在哪一步,以及怎样把下一次练习和这一次的错误接起来。不熟悉模型训练,也可以从开场的例子进入。
观看章节
点击时间可以跳转到 B站对应章节。
| 时间 | 内容 |
|---|---|
| 00:00 | 开场:看懂不等于会做 |
| 00:25 | AI 是怎么学说话的 |
| 01:06 | 为什么会一本正经地错到底 |
| 01:49 | 两种老办法,各差一口气 |
| 02:36 | 在线策略蒸馏:让老师看着学生写 |
| 04:44 | 找不到更强的老师怎么办 |
| 05:14 | 人也能借过来用 |
| 07:12 | 结尾 |
从技术材料到画面
这个作品包括资料整理、脚本、配音与动画呈现。用具体场景串起抽象概念,再通过画面和节奏帮助理解,是它与一篇技术笔记不同的地方。
视频含 AI 辅助生成内容。画面中的概率用于示意,关于人的学习方法属于由技术概念引出的思考,不等同于模型训练实验的结论。
延伸阅读
- Thinking Machines:On-Policy Distillation
- 视频参考的模仿学习理论:Ross 与 Bagnell(2010)。
如果对「怎样判断一次改进是否真的有效」更感兴趣,可以继续阅读下面的 SkillEvolver 复盘:一次没有得到预期结果的实验,最终留下了什么。