第 29 课：自主研究全景与自主度分级｜第一性原理大模型课程

第 29 课：自主研究全景与自主度分级

前 28 课我们把一个 Agent"造出来、接上工具、记住知识、会规划、能训练、可上线"。这一课翻到新的一页——第五部分，问一个更远的问题：AI 能不能自己做研究？做到哪一步了？哪里还不可信？我们不看发布会上的 demo，而是把它拆成一条可测的流水线：先用公开竞赛的奖牌率给一个硬读数，再把"科研"拆成五条必须成立的工作流条件，然后拿出一把 L1–L5 的自主度尺子定位今天的位置，接着说清哪个领域更可信、它和我们前 9 课学的 Agent 差在哪，最后落到三条可测性判据，教你在几分钟内识破"演示级"产品。

🎯 学完这 6 步你将能够：

① 说出自主研究的五条工作流条件与各自的失败代价
② 用 L1–L5 判断一个系统处在哪一级、瓶颈是什么
③ 用三条可测性判据（held-out / 审计事件数 / 可回滚）识破"演示级"产品

🗺 本节推理链（6 步逻辑递进：从"它能不能做研究"到"怎么识破演示"）

1要判断它能不能做研究，这就要求先拿一个硬读数——公开竞赛 MLE-bench 上的奖牌率，而不是看 demo 有多流畅。先要一个硬读数。

↓

2既然「先要一个硬读数」，可奖牌率只反映终点，所以得把"科研"拆成五步流水线：文献锚定 / 假设与规划 / 实验与工具 / 反馈与验证 / 报告与传播——每一步都要真的烧掉 flops（浮点运算量，用来衡量算力消耗）与机时，断一环整条就废，MLE-bench 的奖牌率也就上不去。先拆成可测的流水线。

↓

3既然「先拆成可测的流水线」，这就要求一把尺子量它能不看人跑多久、跨多少个上下文窗口——于是有了 L1–L5 自主度分级；前沿站在 L4，L5 仍是构想。得有一把自主度的尺子。

↓

4既然「得有一把自主度的尺子」，那么同一级在不同领域含义不同——所以还得看这个领域能不能真的执行、能不能便宜地验证——这就决定 L1–L5 里同一级在两边能走多远，即域条件性（domain-conditioned autonomy ceiling）。还要看领域可不可信。

↓

5既然「还要看领域可不可信」，那么这条"领域上限"决定的正是每个任务能自动化的边界；因此要把研究型任务和我们前 9 课学的普通 Agent 任务放在一起比，看差别落在哪三条：长时程（烧掉远超单轮问答的 token 预算）、延迟反馈、结论要负责（工具与多智能体已在第 20–28 课讲过，此处不重讲）。说清它和一般 Agent 的差别。

↓

6既然「说清它和一般 Agent 的差别」，所以最后落到三条可测性判据——held-out、审计事件数、可回滚，用它在一分钟内判断一个"AI 科研"产品是真本事还是演示。三条可测性判据。

自主研究MLE-benchL1–L5 自主度域条件性held-out可测性判据

AI 现在到底能不能自己做研究了？

提示：别只看发布会上的 demo，先给它找一个公开、可比的读数——不看它怎么说，看它在别人出的考场上考得怎么样。

▾

知识背景

MLE-bench（OpenAI Preparedness，arXiv:2410.07095，ICLR 2025 Oral）把 75 个 Kaggle 竞赛做成离线考场：Agent 要读题、准备数据、训练模型、调试、提交，最后按人类排行榜的铜 / 银 / 金牌线判分——拿到铜牌，就等于"达到人类选手的奖牌级"。发布时最强配置 o1-preview + AIDE 拿到奖牌的竞赛占比 16.9%，其 pass@8 为 34.1%。

这是第五部分「自主研究」的第一课。前面九课（第 20–28 课）我们在造一个能干活的 Agent；现在问一个更远的问题：它能自己做研究吗？

但"会写论文"这种演示说明不了什么——真正可信的证据，是它在没被特别照顾的公开考场上能拿到什么名次。就像招研究员不看自我介绍，看他有没有在公开竞赛里上过榜。所以先看一个可比的硬读数：MLE-bench 上的奖牌率。

🧮 第一笔账：把"能不能做研究"变成一个奖牌率

Step 1：MLE-bench 这把尺子怎么量

项	数值
竞赛数	75 个 Kaggle 竞赛
判分方式	对齐人类排行榜的铜 / 银 / 金牌线
出题方	OpenAI Preparedness（arXiv:2410.07095，ICLR 2025 Oral）
发布	2024-10-09

算术无关的一条设定：它不判"论文写得好不好"，只判"提交的模型在人类排行榜上够不够奖牌线"——这就是"可比"的来源。

Step 2：从 16.9% 到 60% 以上

时间 / 配置	奖牌率
2024-10 出题时 o1-preview + AIDE（pass@1）	16.9%（arXiv:2410.07095）
社区榜单同配置记录（AIDE + o1-preview）	17.1%（mlebench.com）
2026-02 Famou-Agent 2.0 + Gemini-3-Pro-Preview	64.4%（mlebench.com）

算术：16.9% × 75 ≈ 12.7 个竞赛拿牌，64.4% × 75 ≈ 48.3 个；两个读数相差 64.4 − 16.9 = 47.5 个百分点。注意：起点与现状不是同一套系统——起点是 o1-preview + AIDE，现状是 Famou-Agent 2.0 + Gemini-3-Pro-Preview，模型与脚手架都换了，不能当成一条"进步曲线"；从发布（2024-10）到该榜单读数（2026-02）约 16 个月。分数在涨，但这是"奖牌线"，不等于"能独立做研究"。

Step 3：一次 vs 多次，奖牌翻倍

尝试次数	o1-preview + AIDE 奖牌率
pass@1	16.9%
pass@8	34.1%
倍数	34.1 ÷ 16.9 ≈ 2.02×

算术：34.1 ÷ 16.9 ≈ 2.02。"能拿到一次"和"能稳定拿到"不是一回事——多试 8 次，奖牌率翻倍，说明单次成功里混着运气。

🎯 关键认知

判断"它能不能自己做研究"，第一步是把它变成一个公开、可比的读数（竞赛奖牌率），而不是看演示。MLE-bench 给了这条基准线：出题时 16.9%（o1-preview + AIDE），约 16 个月后（2024-10 → 2026-02，约 502 天）榜单已破 60%——但起点与现状不是同一套系统（模型与脚手架都换了），不能当成一条趋势曲线；奖牌线只说明"达到了人类的某个名次"，离"独立做研究"还有距离。

AI 助教

👋 对"MLE-bench 奖牌率"有疑问？比如「16.9% 和 64.4% 怎么比」「奖牌线等于能做研究吗」？

说清你想判断的场景，我帮你读这个分数。

做研究这件事，到底哪几步是必须的？

提示：把"科研"当成一条流水线拆开，看看哪一步断了整条就废。

▾

知识背景

综述《AutoResearch AI》（Tie 等，arXiv:2605.23204）把科研自动化拆成五条反复出现的工作流条件：文献锚定、假设生成与规划、实验与工具使用、反馈·验证·评审、报告与知识传播。任一条断了，整条闭环就合不上。

上一张卡片用 MLE-bench 给出了"最后做没做成"的读数。可奖牌率只反映终点，看不出中间哪一环出的问题。

所以要把科研当成一条流水线拆开。就像做饭：买菜、定菜谱、开火、尝味道、端上桌——少了"尝味道"这步，端上桌才发现整锅咸了。这就要求先列出真实研究反复出现的五条工作流条件。

🧮 第二笔账：五步流水线与断一环的代价

Step 1：五条必须成立的工作流条件

环节	干什么	断了会怎样
文献锚定	把已有工作找全、判断新旧	做了别人做过的
假设与规划	产生可检验的假设与计划	不知道要做啥
实验与工具	写代码、跑实验	想法停在纸上
反馈与验证	判断结果可不可信	结果不知真假
报告与传播	写成可读的报告	结论传不出去

算术无关的一条拆解：五条不是"知识点分类"，而是一条闭环的五个断面——上一步的产出是下一步的输入，缺一条后面就接不上。

Step 2：一步占多少成本（示意）

环节	成本占比（示意，需人工核实）
文献锚定	15%
假设与规划	15%
实验与工具	45%
反馈与验证	20%
报告与传播	5%
合计	100%

算术：15 + 15 + 45 + 20 + 5 = 100（示意值，非论文读数）。实验最贵，但"验证"决定了前面 80% 的钱有没有白花。

Step 3：跳过验证到底省不省钱

项	数值（示意）	说明
跳过"反馈与验证"省下	20%	少花这部分成本
由此需要返工的产物	30%	结果不可信要重做
净亏	30% − 20% = 10 个百分点	省小赔大

算术：0.30 − 0.20 = 0.10。省下 20% 的验证成本，却换来 30% 返工——账是负的。（示意，需人工核实。）

🎯 关键认知

科研不是一步，是五条必须同时成立的工作流条件：文献锚定、假设与规划、实验与工具、反馈与验证、报告与传播。其中"反馈与验证"最像保险——平时看不见，断了才发现整条链的结论都不可信。

AI 助教

👋 对"五条工作流条件"有疑问？比如「哪一步最容易被跳过」「怎么给每步设检查点」？

说清你的研究场景，我帮你定位最脆弱的那一环。

"自主"到底分几级，它现在到哪一级了？

提示：从两个维度想：它能自己决定什么、能不看人跑多久。

▾

知识背景

综述《从 Copilots 到 Colleagues》（Deli Chen，2026）提出 L1–L5 五级自主度分级体系：分级只看两个维度——① 它能对什么内容独立做决定，② 在没人审核时能连续自主运行多久。它对 17 个系统做六维分析后指出：前沿系统普遍处于 L4，L5 仍是目标构想。

上一张卡片把科研拆成五步。接下来要问：这五步它到底能自己走几步、能走多久？这需要一把尺子。

L1–L5（一把把"自主程度"分成五档的尺子，L1 最低、L5 最高）就是这把尺子，它只看两件事：能自己决定什么 + 能不看人跑多久。就像自动驾驶分级：L2 手不能离方向盘，L4 在限定区域可脱手，L5 才全场景无人。

🧮 第三笔账：L1–L5 这把尺子

Step 1：五档分别是什么

级别	能自主决定什么	代表
L1	补全单行代码 / 单个 token	Copilot 类代码补全
L2	拆解明确任务，但每步需批准	带工具的对话助手
L3	自主执行 10–100 个连续动作，检查点才问人	Claude Code 等代码 Agent
L4	限定领域内多步自主、跨阶段闭环	AI Scientist、Devin、SWE-Agent
L5	自己定研究议程、全程无需人审	仍是构想

算术无关的一条口径：分级不按"模型多大"，只按"能决定什么 + 能跑多久"两个可观察维度——这样不同系统才能放在一把尺子上比（各系统的级别归类见该综述的六维分析）。

Step 2：两个维度的量化（综述口径）

系统	级别	连续动作数	完成率
Claude Code（默认）	L3	15–60	60–75%
SWE-Agent	L4	30–150	12–53%
AI Scientist	L4	100–500	40–60%

算术：从 L3 的 15–60 到 L4 的 100–500，动作跨度约 100 ÷ 15 ≈ 6.7× 到 500 ÷ 60 ≈ 8.3×（取综述区间端点，示意）。级别越高，能连续自主的动作越多。

Step 3：今天站在第几级

结论	依据
前沿系统普遍 L4	综述对 17 个系统的六维分析
L5 仍是构想	能自定议程的系统尚未出现
已到第 4 级	5 级里站在第 4 级

算术：L1–L5 共 5 级，前沿到第 4 级，距 L5 还差 1 级；但这一级的差距不是"调参"能补的，瓶颈在长效知识沉淀、可靠自评与架构可扩展。

🎯 关键认知

用两个可观察维度（能决定什么 + 能自主多久）给自主度分级，比"能写论文 / 不能写论文"清楚得多：今天的前沿站在 L4，L5 还差最后一格。看一个系统，先问它在这把尺子上是第几级、卡在哪。

AI 助教

👋 对 L1–L5 有疑问？比如「L4 和 L5 的界线在哪」「怎么给我的系统定级」？

说清系统能决定什么、能跑多久，我帮你判断在第几级。

同一个自主级别，做 ML 研究和做生物研究，能不能走到同样的深度？差在哪些条件上？

提示：看两件事：实验能不能自动执行、结果能不能很快验证。

▾

知识背景

AutoResearch 综述（Tie 等，arXiv:2605.23204）提出"域条件性"（domain-conditioned autonomy ceiling）：计算与形式科学最容易闭环，实验类学科受物理与安全约束，自动化天花板更低。它的判断依据是四个条件：可执行、反馈快、可复现、伦理约束小。

上一张卡片把自主度分成 L1–L5。但同一个级别在不同领域含义不同——同样是 L4，做 ML 和做生物能走到的深度差很远。

所以要引入"域条件性"（domain-conditioned autonomy ceiling，指一个领域本身允许自动化走到多高）。就像在厨房做菜 vs 在野外做菜：厨房里调料随时可尝、可回锅；野外要先找食材、等天气，做完才发现不对也没法重来。

🧮 第四笔账：领域条件决定天花板

Step 1：四个决定可信度的条件

条件	含义
可执行	实验能不能在计算机内自动跑
反馈快	结果多久能拿到（分钟级还是月级）
可复现	换台机器能不能得到同样结果
伦理约束小	是否涉及人体、安全等不可逆后果

算术无关的一条拆解：四个条件里任一条差，闭环就会在那一环断掉——"域条件性"本质是这四项的合取。其中"伦理约束小"是一个否决项：一旦不满足（涉及人体、安全等不可逆后果），直接判不可行，因此不参与后面的均值打分——均值只取前三条可量化的条件。

Step 2：两个领域逐条打分（示意）

条件	ML 研究（示意）	生物研究（示意）
可执行（计算机内跑）	1.0	0.4
反馈快（分钟—小时级）	0.9	0.3
可复现	0.9	0.4
均值	0.93	0.37

算术：(1.0 + 0.9 + 0.9) ÷ 3 ≈ 0.93，(0.4 + 0.3 + 0.4) ÷ 3 ≈ 0.37；0.93 ÷ 0.37 ≈ 2.5×（示意打分，非论文读数，需人工核实）。均值只对可执行 / 反馈快 / 可复现三项取——第四条"伦理约束小"是否决项（见 Step1），不计入均值。

Step 3：闭环断在哪一环

环节	ML 研究	生物研究
跑实验	计算机内自动	需湿实验 / 人体
拿反馈	分钟—小时	周—月
同样跑 30 天	可迭代很多轮	可能不到 1 轮

算术：把两者换算到同一单位——生物一轮约 30 天 = 30 × 24 × 60 = 43,200 分钟；若 ML 单轮按小时级（约 60 分钟）计，同样 30 天里 ML 能跑的轮数约为生物的 43,200 ÷ 60 = 720×（示意）。反馈越慢，同一窗口里能迭代的轮数越少，闭环就断在"验证"这一环。

🎯 关键认知

"AI 能做研究"这句话必须加定语：在结构清晰、可执行、能快速验证的领域（如 ML 研究）它才靠得住；越往具身、延迟反馈、涉伦理的方向走，闭环越难合上。所以先问"这是哪个领域"，再谈能不能自动。

AI 助教

👋 对"域条件性"有疑问？比如「我的领域属于哪一类」「怎么判断可不可信」？

说清你的实验流程，我帮你判断闭环能不能合上。

这套东西和我们前 9 课学的 Agent 有什么不一样？

提示：别重学工具调用——想清楚研究任务比一般任务多了哪些约束。

▾

知识背景

承第 20–28 课：工具调用、MCP、多智能体、RAG（检索增强生成：先查资料再回答）、评测基建都已经讲过，本部分不重讲。本部分特有约束只有三条：长时程（跑很久）、延迟反馈（结果很晚才知道）、结论要负责（写在论文里、要能追溯）。

上一张卡片说明自主度受领域限制。那研究型 Agent 和我们前面造的 Agent 到底差在哪？

不是工具怎么调，而是三件事：跑得久、反馈慢、结论要有人负责。这就要求重新设计"人在哪里介入"和"账怎么算"。就像一般 Agent 像打车（一段路、很快到），研究型 Agent 像备战一场马拉松（周期长、看长期指标、教练要对结果负责）。

🧮 第五笔账：三条新约束与 token 口径

Step 1：本部分特有的三条约束

约束	和一般 Agent 的差别
长时程	一次任务可能跑几小时到几天，不是单轮问答
延迟反馈	结果要等实验跑完才知道，不能即时纠错
结论要负责	产出写进论文，必须可追溯、可复现、有人署名

算术无关的一条区分：工具调用解决"能不能做"，这三条约束解决"能不能长时间、可信地做完"——后者是本部分的新问题。

Step 2：成本对比（承第 26 课 token 口径）

形态	token
普通对话（第 26 课锚点）	20,000
单 Agent（约 4×）	20,000 × 4 = 80,000
多智能体（约 15×）	20,000 × 15 = 300,000
自动研究（示意 20 轮 × 20,000）	20,000 × 20 = 400,000（20×）

算术：20,000 × 4 = 80,000；20,000 × 15 = 300,000；20,000 × 20 = 400,000；400,000 ÷ 20,000 = 20×（研究按轮数放大，示意口径）。

Step 3：人在哪里介入

方式	人工确认次数	用时（示意 5 分钟/次）
每轮都确认	20	20 × 5 = 100 分钟
只在检查点确认	3	3 × 5 = 15 分钟
差	—	100 − 15 = 85 分钟

算术：20 × 5 = 100，3 × 5 = 15，100 − 15 = 85。长时程任务不能每步等人，只在关键检查点介入（示意）。

🎯 关键认知

研究型 Agent = 一般 Agent + 三条新约束（长时程、延迟反馈、结论要负责）。它不需要重学工具调用，但需要我们重新设计"人在哪里介入、账怎么算"。这也是本部分和前面九课的分界线。

AI 助教

👋 对"研究型 Agent 的约束"有疑问？比如「为什么不能每步都等人」「token 账怎么估」？

说清你的任务时长与轮数，我帮你算账并定介入点。

怎么判断一个"AI 科研"产品是真本事还是演示？

提示：先问自己——要凑齐哪些证据，才敢相信一个"AI 科研"产品不是演示？答案不止一条，先想三十秒。

▾

知识背景

held-out（留出集：训练与调参阶段都没见过、只在最后验收时用一次的数据）。审材料多少决定能不能查出问题：CMU 一项审计研究（Luo 等，arXiv:2509.08713）用 LLM 当审计器，只看最终论文时二分类准确率约 55%（F1 0.51），加上完整轨迹日志与代码后升到约 82%（F1 0.81）。注意：这是审计器的检测准确率，不是科研系统本身的正确率——它衡量的是"能不能把关"，不等于"科研结果对不对"。

上一张卡片把研究型 Agent 和一般 Agent 分开。最后一个问题：面对一个声称"AI 科研"的产品，怎么在几分钟内判断它是不是演示？

这就要求三条可测性判据：held-out（别用见过的数据验收）、审计事件数（能不能看到每一步执行）、可回滚（出错能不能撤）。就像验收解题能力：不能拿做过的作业题再考一次，要能翻出每一步草稿，答错了还得能擦掉重来。

🧮 第六笔账：三条可测性判据

Step 1：三条判据各问什么

判据	问什么	不合格的信号
held-out（留出验收集）	验收数据它训练 / 检索时见过吗	用公开榜单当验收
审计事件数	每一步执行有记录吗	只能看到最终 PDF
可回滚	出错能撤销吗	写操作不可逆

算术无关的一条分工：held-out 管"结果是不是真的"，审计事件数管"过程看不看得见"，可回滚管"出事能不能收场"——三者缺一不可。

Step 2：审计材料越多，越能查出问题

审计方式	准确率	F1
只看最终论文	55%	0.51
论文 + 轨迹日志 + 代码	82%	0.81
差	82 − 55 = 27 个百分点	0.81 − 0.51 = 0.30

算术：82 − 55 = 27（个百分点），0.81 − 0.51 = 0.30（来源：arXiv:2509.08713）。审核材料越全，越能查出问题——"只能看 PDF"本身就是不合格信号。

Step 3：held-out 为什么不能省

验收集	结论可信度
被训练 / 检索见过	分数虚高
held-out（只在最后用一次）	才反映真实能力
75 个竞赛里 20% 被见过（示意）	纯 held-out 只剩 75 × 80% = 60 个

算术：75 × (1 − 0.20) = 60（示意见过比例）。用"见过的题"当验收，等于把作业题当期末考；held-out 才有意义——注意 MLE-bench 的污染实验显示混淆题面后分数无显著变化，污染贡献有限（需人工核实）。

🎯 关键认知

识破演示级产品的三条判据：held-out（别用见过的数据验收）、审计事件数（只看 PDF 等于没审）、可回滚（出错要能撤）。而 provenance（出处可追溯：每个结论能点回它的来源与执行记录）正是把这三条落到证据上的机制。这套判据会在第 33 课展开成"验证与评审"。

AI 助教

👋 对"三条判据"有疑问？比如「held-out 怎么划」「审计要记哪些事件」？

说清你要评估的产品，我帮你逐条打分。