arXiv · Signal Processing· Xiaopeng Mao, Morten Mørup, Xin Xu 等 5 人
· 3 小时前AI 评分55
通过分层脑电到文本对齐进行思维解码
Thought-deciphering via hierarchical EEG-to-text alignment
预印本 · 尚未经过同行评审
AI 导读
从脑电进行句子级解码一直很困难。作者提出分层脑电到文本对齐框架，先把脑电表征与语义类别对齐，再在预测类别内检索句子，并在超过 2000 条独特文本样本上测试。结果前 5 和前 10 检索准确率分别为 62.6% 和 83.5%，高于直接脑电到句子对齐的 50.3% 和 68.3%；定性分析显示解码表现与文本上下文关系密切。该预印本尚未经同行评审。
摘要 · AI 翻译
非侵入式脑-文本接口为有沟通障碍的人群提供了替代性沟通途径。然而，从脑电图（EEG）中进行句子级解码仍然具有挑战性。我们提出了一种分层EEG-文本对齐框架，通过逐步解码粗粒度语义信息和细粒度句子表征来检索句子。我们假设，相较于单个句子，更宽泛的语义上下文能够从EEG中被更可靠地捕获。据此，EEG表征首先与语义类别对齐，随后在预测类别内进行句子检索。在超过2,000个独特文本样本中，我们的方法平均top-5和top-10检索准确率分别达到62.6\% $\pm$ 1.0\%和83.5\% $\pm$ 1.0\%，而直接的EEG-句子对齐则为50.3\% $\pm$ 2.3\%和68.3\% $\pm$ 2.0\%。定性分析进一步揭示，解码性能强烈依赖于文本上下文。这些发现证明了分层语义对齐在改善句子级EEG-文本解码方面的潜力。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Signal Processing · arxiv.org