多模态理解中的层级不确定性转换

人类的交流需要整合来自不同模态的信息，即使每个来源本身不完整或存在歧义。然而，当不同的语义表征相互作用并汇聚时，不确定性如何被协调仍不清楚。在此，我们提出一个层级不确定性转换框架，并在四项手势-言语实验中对其进行检验，这些实验结合了行为测量、信息论建模和脑电图。不确定性并非随着信息的积累而被统一降低，而是在三个相互依存的层级上改变了其计算形式：模态特异性语义表征内部的不确定性、跨模态交互过程中双向但不对称的变化，以及与多感觉汇聚相关的不确定性。这些计算上的区分伴随着彼此不同但在时间上重叠的神经关联。模态特异性不确定性表达得相对较早，而跨模态转换与汇聚则最显著地与N400范围内的活动相关联。关键的是，这些计算量的神经表达和统计耦合都随手势和言语所提供的语义信息而变化。总之，这些发现表明，多模态理解涉及不确定性在相互作用的表征之间进行情境依赖的重组，为理解连贯意义如何从异质且不确定的信息中产生提供了一个计算框架。

中文由 AI 翻译，仅供参考，以原文为准。