在量化LLM中，幻觉可从中间层隐藏状态线性解码

我们研究开源 LLM 是否在其隐藏状态中编码了线性可分的真实性信号，以及该信号在哪个网络深度最强。在三个以 $4$ 位 NF4 量化加载的 $7$B--$8$B 指令微调模型（Llama-3.1-8B、Mistral-7B、Qwen2.5-7B）上，我们在四个幻觉基准（TruthfulQA、HaluEval-QA、FEVER 以及一个受控合成集）上提取逐层隐藏状态，并比较四种检测方法：线性与 MLP 探针、INSIDE EigenScore、自一致性以及注意力熵。在留出划分上，单个网络中间层的线性探针达到 $0.904$--$1.000$ AUROC，而基于采样的检测器在同一协议下不超过 $0.541$ AUROC。真实性信号近似线性：MLP 探针很少比线性探针高出超过 $0.01$ AUROC。在自然语言基准上，峰值探针层在各模型家族中落在一个一致的区间内——Llama 和 Mistral 为 $32$ 层中的第~$13$--$18$ 块，Qwen 为 $28$ 层中的第~$19$--$25$ 块。首块注意力熵在知识 grounded 设置中提供互补信号（HaluEval-QA 上 $0.866$--$0.941$ AUROC），且不增加额外推理成本。采样方法在该协议下的低区分度反映了配对标签评估与这些方法所访问信息之间的结构性不匹配，而非这些方法本身的固有局限。代码与数据已发布，可在单块 $8$\,GB GPU 上完全复现。

中文由 AI 翻译，仅供参考，以原文为准。