替身效应与合并放大：基于设计的检验考察生物世界模型是否使用动作
Stand-In Effects and Pooling Amplification: Design-Based Tests of Whether Biological World Models Use Actions
预印本 · 尚未经过同行评审
动作条件世界模型的预测是否真的依赖动作，通常靠替换或删除动作后看准确率损失来判断。作者证明在自相关设计下未来动作会充当模型看不到的历史的替身，模型越好越能学到这种替身；当多个位点共享同一动作序列时，合并评分会把沿动作对比的微小模型误差放大成压倒性证据。作者提出以 e 值形式写出的条件随机化检验，并报告自己预注册的光遗传学 ERK 实验分析正是以这种方式失效，改用经设计效应调整的统计量后在未开启的视野上拒绝零假设。
用条件随机化检验和 e 值替代替换动作的常规诊断，指出自相关设计与多站点合并会放大虚假动作效应，并在预注册的光遗传学 ERK 实验数据上复现这一失效。
以动作作为条件的世界模型越来越多地用随机实验数据进行训练，而它们的预测是否对动作作出响应，通常通过替换或移除动作并测量准确率损失来检验。我们表明，这类诊断会在并不存在动作效应的地方报告出动作效应：在自相关设计下，未来的动作充当了模型所看不到的历史的替身，而更好的模型会更好地学到这个替身。当设计规律已知时，写成 e-value 的条件随机化检验在有限样本下对任何模型都有效，前提是重采样器以设计所使用的完整状态为条件；而从更简单的规律重采样则会重现虚假效应。我们识别出第二种失效，它特定于世界模型：当许多位点共享同一个动作序列时（显微镜视野中的细胞、一帧中的像素），自然的合并得分会把沿动作对比方向上的微小模型误差变成反对真实效应的压倒性证据。在像素世界中，随着帧从 64 像素增长到 4096 像素，其中位对数 e-value 从 $-17.3$ 降至 $-6832$，而 oracle 的则上升。用在训练数据上估计的设计效应对得分进行 tempering 改变的是赌注，而不是有效性。我们自己对光遗传学 ERK 实验的预注册分析正是以这种方式失败的；随后，一个在合成数据上选定、并在获取数据之前注册的 tempered 统计量，在一个从未打开过的视野上拒绝了零假设（$E\approx 1.1\times10^{10}$）。每项分析要么经过预注册，要么在运行前固定于一份注明日期的协议中，要么被标记为探索性；每个报告的结果都由经过哈希的结果文件生成。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Quantitative Methods · arxiv.org