arXiv · Human-Computer Interaction· Youngwon Choi, Donghyuk Jung, Hyeonyu Kim 等 6 人
· 2 天前
仅文本适配的语音大语言模型在口语语义解析中的鲁棒性
Robustness of Text-Only Adapted Speech LLMs for Spoken Semantic Parsing
预印本 · 尚未经过同行评审
AI 导读
在匹配文本监督下,语音大语言模型在含噪语音的语义解析中优于ASR-LLM级联,推理时间也更短。
摘要 · AI 翻译
大语言模型(LLM)越来越多地被用于从自然语言指令生成结构化输出,包括语义框架和函数调用。当输入为语音时,该任务即成为语音语义解析,可通过语音 LLM 或 ASR-LLM 级联来完成。尽管两种方法都可以借助纯文本任务监督进行适配,但它们对声学退化的相对鲁棒性仍不清楚。我们在匹配的文本形式监督下,使用 3B 和 7B 模型在三个数据集上比较了这些方法,并在干净语音和五种 SNR 水平的 babble 噪声下进行评估。结果表明,语音 LLM 在命令理解、意图预测和函数调用方面通常取得更好的性能,尤其是在严重噪声下,而在细粒度实体预测方面的改进则不太一致。另一项评估显示,在两种模型规模下,语音 LLM 的每样本平均推理时间均低于 ASR-LLM 级联。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org