谁在鸣叫？V33DA：一个经物理验证的多模态基准，用于斑胸草雀群体的发声归属

确定动物群体中哪一只个体发出了叫声以及该叫声在何处产生，是研究社会交流的核心问题，但很少用经过物理验证的真值来评估。现有资源要么只对声音进行定位而不识别发声者，要么从孤立叫声中识别个体而不依赖三维候选几何信息。我们以 V33DA 填补这一空白，这是一个以数据集为中心的多模态基准，用于社会性斑胸草雀的空间发声归属：它包含 33,625 个经过验证的事件，将 5 通道音频与三个摄像机视角相耦合，为每个可见候选个体提供标定的三维姿态，并对 10 只个体和三项实验提供逐鸟无线电遥测。发声者身份通过体载加速度计衍生的振动信号进行验证；该通道不提供给基准模型，仅用于体载参考上限。给定一个检测到的发声和可见的候选鸟，任务是选择发声者。我们在三种设置下对其进行评估：对来自留出录音日期的熟悉鸟进行会话不相交测试，留出实验迁移到新队列，以及对发声被留出训练的鸟进行留一个体评估。参考方法揭示了一致性差距：域内准确率与迁移到未见个体之间存在差距：能够利用熟悉发声身份的方法在已知发声者上表现良好，但在未见个体上急剧下降，而保留显式空间推理的候选感知方法迁移效果显著更好。体载参考在各类设置下都接近完美，证实了加速度计验证标签的内部一致性。我们发布 V33DA，包含固定协议和所评估方法的代码，以及 V33DA++，这是一个未经评估的伴随集，包含经过验证的重叠发声事件和 ±2 秒上下文窗口。

中文由 AI 翻译，仅供参考，以原文为准。