跳到正文
原文
arXiv · Human-Computer Interaction· Haotian Qi, Gabriel Skantze
· 10 天前精选AI 评分63

AVCC:用于轮次转换预测的音视频对话语料库及人类基准

AVCC: Audio-Visual Conversation Corpus for Turn-Taking Prediction with a Human Benchmark

预印本 · 尚未经过同行评审

AI 导读

多人对话中预测下一个说话人及其时机,是对话代理和社交机器人自然轮转的前提,但已有语料多用每人一套传感器,缺少机器人单摄像头单麦克风条件下的公开基准,也没有模型与人类同场比较。作者把 AVCC 这个 31 小时的双人和三人线上对话音视频语料转为公开基准,新增说话人互不重叠的七段视频测试集,在相互静默间隙标出 865 个保持事件和 865 个转换事件,并提供全语料的词级强制对齐转写和同一事件上采集的人类参照数据。作者用仅音频的角色相对 VAP 模型和音视频多模态 MuVAP 模型在该基准上评分,并公开标签、转写、逐次反应的人类数据和复现全部数值的脚本。

推荐理由

把 31 小时双人及三人线上对话录像整理成公开的下一说话人预测基准,含 865 个保持与 865 个转换事件、词级强制对齐转写和同一事件上的人类参照成绩。

摘要

暂未取得可靠的原文摘要,可通过“打开原文”查看来源页面。

来源:arXiv · Human-Computer Interaction · arxiv.org

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。