验证、复现与评审

第五部分走到这里，选题、规划、长时程执行都讲过了，但有一条底线必须先立住：代码跑通了，结论就成立吗？

因为"跑通"只证明脚本没在运行时崩掉，不证明它算的是你要的东西。论文里的每个结论，最终都只是写进文档的一串 tokens——而 tokens 本身不会告诉你它错没错。就像电子秤没坏、数字也在跳，只是单位被人从克偷偷换成了磅，你看不出任何异样。silent error（静默错误）就是这类失败：正常结束、结果看着合理，物理意义却已经错了。所以先把"能跑≠对"这条底线讲透。

上一张卡片说明"能跑≠对"。可复现只说明"能重跑"，所以下一步是把"对"变成可检查的：怎么让结果可复现？

因为影响结果的变量不止代码本身：随机种子不同、库版本不同、数据切片不同，都会让同一份脚本给出不同的数。要复现，就得把这三样钉住，并把它们记在 context 之外的文件里（承第 32 课的"状态落在上下文之外"）。这里的 held-out（留出集）指训练 / 调参时故意不看的样本——它是判断"真会做还是背下来"的尺子，一旦被搜到，尺子就作废。就像考试先把答案锁进保险箱，考前谁都不能碰。所以可复现 = 钉住三要素 + 挡住泄漏。

上一张卡片把结果变得可复现。但可复现只说明"能重跑"，不说明"值得信"——谁来判断这个结论能不能接受？

因为生产结论的人天然有确认偏误：自己写的代码、自己跑的数、自己下的判断，很容易只看到支持结论的那部分。评审要读的是由 tokens 构成的完整证据链（数据、日志、代码、复现清单），而不是结论那一句话。就像比赛不能既当运动员又当裁判——同一双手既跑又判，规则就失效了。所以接受之前必须有独立评审，而且要看多个评审的一致性。

上一张卡片说要独立评审。那 AI 自己写的论文，真的过得了评审吗——AI 写的论文能过评审吗？

因为"能过"这件事不能靠宣传，要看真实投稿数据：投了几篇、中了几篇、评审给了多少分、和人类投稿比在什么位置。同时要警惕：评审若只读 context 里的"看起来对"，就可能漏掉可信性缺陷——独立复评（Beel 等，arXiv:2502.14297）评测的是 AI Scientist v1 系统（并非本文这篇 v2 投稿），发现该系统生成稿件含幻觉数值、且常把已有工作误判为新颖。就像闭卷批改只看卷面整洁，不看答案对不对。所以要同时看"分数"和"独立复评"两件事。

上一张卡片看到真实投稿数据。但就算论文能过评审，结论也可能复现不了——复现失败要付出什么代价？

因为复现不是"再看一眼"，而是"从零重跑一遍"：再花一份算力、再烧一份 tokens、再等一轮时间。若第一次没能把三要素钉死（承上一张卡片），就得多次重跑，成本按次数线性放大。就像退货重发——东西没发对，运费得自己再掏一次，掏几次取决于错了几次。所以要先把复现成本算成"单次 × 次数"。

上一张卡片算了复现的代价。最后一步，是把前面所有检查固化成一道门——怎么给"验证"设门禁？

因为单个指标都能被"借光"：一个系统在某维表现好，宣传稿就会顺势暗示其余几维也好。门禁要的是五个维度一起过，且每条断言都能回到它的 context 与出处（provenance）。就像飞机起飞前的检查单——不是不信任飞行员，而是用固定清单把"偶发疏忽"变成"每次都被拦住"。所以用五维评估 + 否决线，把"接受"变成一个可执行判定。