arXiv · Quantitative Methods· Zheyu Zhang, Yuanhao Huang, Fan Feng 等 4 人
· 3 小时前
低秩解码器瓶颈限制了基础模型扰动预测的可靠性
A low-rank decoder bottleneck bounds reliability in foundation-model perturbation prediction
预印本 · 尚未经过同行评审
AI 导读
STATE 解码器首层注意力的低秩输出构成瓶颈，预测响应到最近训练响应的余弦距离可作逐预测置信度。
摘要 · AI 翻译
基础模型对扰动响应的预测主要依据总体准确率来评估。若要用其预测来优先安排实验，就需要评估每个预测的可靠性。我们审计了 STATE 中使用的状态转移（ST）解码器，涵盖三种编码器（SE-600M、scGPT 和 Tahoe-x1）以及 CRISPRi 下的四种细胞系。该解码器的第一个注意力层输出为低秩。将该输出投影到由训练激活估计出的 4–32 个固定方向上，可保持平均的逐扰动 Pearson delta 相关性（PDC）。这种低秩注意力瓶颈以到训练响应的距离为界，限制了该解码器的可靠性：随着某扰动的观测响应到其最近训练响应的余弦距离增大，PDC 下降。我们提出预测最近邻距离（predicted-NN-distance），即预测响应到其最近训练响应的余弦距离，作为逐预测的置信度分数。该分数与 PDC 的平均绝对 Spearman 相关性为 0.81，接近使用观测响应所得的 0.88。基于该分数校准的阈值可在不同编码器和细胞系之间迁移，且该分数对药物扰动仍能预测 PDC。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Quantitative Methods · arxiv.org