经人类校准的语音神经假体可懂度自动评估

目的：脑到语音的神经假体可以从丧失说话能力者的神经活动中合成语音，从而实现更自然、更具表现力的交流。然而，评估合成语音的可懂度仍然具有挑战性，因为不存在真实的声学基准信号。该领域转而依赖人工转写，但人工转写成本高昂，且难以扩展或在不同研究之间进行比较。自动语音识别（ASR）提供了一种潜在的替代方案，但最先进的 ASR 模型是针对典型流利语音的转写准确率进行优化的，可能无法反映人类如何感知非典型的合成语音。方法：我们收集了一名参与者约 14.5 小时的皮层内脑到语音解码器合成语音的人工转写（共产生约 72 小时的转写语音）。我们使用经人工转写的合成语音，通过低秩适配（LoRA）对 Whisper-large-v3 进行微调，使其词错误率（WER）接近人类 WER。随后我们在留出句子上评估了该模型。主要结果：微调将模型 WER 与人类 WER 之间的 Pearson 相关系数从 0.62 提高到 0.76。微调后模型的 WER 在多个评估集上紧密跟随人类 WER，包括由未见过的脑到语音解码器合成的语音。仅使用 1.5 小时的合成语音即实现了与人类 WER 的高度一致。意义：这些结果表明，经人类校准的 ASR 可以提供一种可扩展的脑到语音可懂度度量，其反映人类转写的程度比零样本 ASR 更接近。

中文由 AI 翻译，仅供参考，以原文为准。