使用自监督集成对声道 rtMRI 进行盲视频去噪

声道实时磁共振成像使言语发音过程可直接观测，但时间分辨率与信号质量之间的权衡会引入大量噪声，并掩盖精细的发音细节。由于运动中的声道无法获取干净参考，监督式去噪方法在此场景下并不适用。我们提出一种自监督去噪框架，将时空超分辨率学习与源自方差稳定化非局部均值滤波器的伪监督相结合。双模型融合策略在噪声抑制与高频发音结构保留之间取得平衡。在自然噪声条件下于 USC-75 多说话人数据集上进行的实验表明，该集成方法在未见受试者上将信噪比提高 11.9 dB，同时在帧中获得更多高频发音内容。在各向异性扩散、块匹配滤波、非局部均值与预平滑非局部均值的调优实现中，每一种达到可比噪声抑制效果的配置都以牺牲高频内容或结构保真度为代价。在严重添加的高斯、瑞利与莱斯噪声下，峰值信噪比提高 7.6 至 11.8 dB，结构相似度约增至三倍。消融实验表明，方差稳定化伪监督是去噪的必要要素，且该效应可归因于稳定化变换中包含的硬阈值处理。

中文由 AI 翻译，仅供参考，以原文为准。