FETTUCCINE:在移动设备上快速高效的脑到文本解码
FETTUCCINE: Fast and efficient brain-to-text decoding on mobile devices
预印本 · 尚未经过同行评审
语音脑机接口靠语言模型提升解码准确率,但计算开销大、推理延迟波动,限制了日常交流使用。作者提出端到端框架 FETTUCCINE,改用自动语音识别模型,在公开的皮层内语音脑机接口用户数据上评估,词错率最低达 4.39%,优于此前的端到端方法,并能在商用移动设备上以最高 370 倍实时速度运行。模型还可微调以维持后续日期的可用性能,梯度显著性图定位的解码相关神经特征与已知生理先验一致。该工作为预印本,尚未经同行评审。
用自动语音识别模型替代大语言模型做端到端脑到文本解码,在公开的皮层内语音脑机接口数据上词错率低至 4.39%,并能在商用移动设备上以最高 370 倍实时速度运行。
语音神经假体的最新进展为因神经系统疾病或损伤而丧失说话能力的人群开辟了新的沟通途径。这些系统能够在尝试说话时解码神经活动并将其转换为文本,依靠语言先验来实现高解码准确率。目前这一性能是以使用计算密集的语言建模技术栈为代价的,构成了实际应用中的主要瓶颈。此外,当前的语言模型会产生高度可变且具有破坏性的推理延迟,限制了通信吞吐量,并使用户无法可靠地参与自然对话。我们提出 FETTUCCINE,一个端到端的脑到文本框架,它利用自动语音识别(ASR)模型的速度和可移植性来应对上述实际挑战,同时实现可用的(<10%)词错误率(WER)、对神经非平稳性的高效适应,以及在移动设备上的可靠性能。在使用一名皮层内语音神经假体用户的公开数据进行评估时,FETTUCCINE 优于以往的端到端方法,WER 低至 4.39%。最值得注意的是,我们的模型成功运行在商用移动设备上,吞吐量最高可达实时的 370 倍,首次展示了在移动设备上进行脑到文本解码。我们还表明,我们的模型可以成功微调,以将可用性能扩展到未来的天数。除性能之外,我们的方法还能通过基于梯度的显著性图定位与解码最相关的神经特征,我们证明这些特征在不同 ASR 模型家族中与公认的生理先验相一致。综上所述,我们的结果表明,FETTUCCINE 克服了核心的基础设施和计算障碍,带来了一类新型便携式脑到文本通信。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neurons and Cognition · arxiv.org