MultiMental-IAS：用于情境感知非独立同分布评估的多模态驾驶员心理状态分析数据集
MultiMental-IAS: A Multimodal Driver Mental State Analysis Dataset for Context-Aware Non-IID Evaluation
预印本 · 尚未经过同行评审
现有驾驶员状态数据集多只针对单一认知状态，缺少连续车辆情境信息，也很少定义能暴露个体差异的评测协议。作者在基于 CARLA 的座舱闭环模拟中采集 23 名被试共 148 次试验、11.6 小时的数据，包含车辆遥测与情境通道、Muse 2 头带的四通道脑电和三通道光电容积脉搏波以及车内视频，覆盖正常、分心、警觉、应激、放松和困倦六种诱发状态。基准显示多模态融合在训练中见过的驾驶员上宏平均 F1 为 0.94，在未见驾驶员上融合驾驶动态与逐窗归一化脑电和脉搏波可将宏平均 F1 从 0.408 提升到 0.485。该预印本尚未经同行评审。
23 名被试在驾驶模拟器中完成 148 次试验共 11.6 小时，同步采集四通道脑电、三通道光电容积脉搏波和车内视频，并给出跨被试非独立同分布评测协议。
稳健的驾驶员状态建模需要同步的生理、行为与情境信号，然而现有的开放资源通常只针对单一认知状态、缺少连续的车辆情境，或未定义能够揭示被试间异质性的评估协议。我们提出 Multimental-IAS，这是一个在基于 CARLA 构建的座舱在环仿真中采集的多模态驾驶员心理状态数据集。它包含带有场景情境通道的车辆遥测数据、来自 Muse 2 头带的四通道 EEG 与三通道 PPG，以及面向座舱的视频，来自 23 名被试，在六种诱发状态下共记录 148 次试验（11.6 小时）：Normal、Distracted、Alerted、Stressed、Relaxed 和 Drowsy。我们详细记录了采集流程，并提供了一个对所有模型采用同一协议的基准：被试内按时间顺序划分、被试不重叠的跨被试折、基于验证集的模型选择，以及针对模态、场景情境通道和信号归一化的消融实验。多模态融合在训练中出现过的驾驶员上达到 0.94 的 macro-F1。对于未见过的驾驶员，将驾驶动力学与按窗口归一化的 EEG/PPG 融合后，macro-F1 从 0.408（仅遥测）提升至 0.485，且在全部五个折上保持一致，而两种协议之间的差距量化了个性化模型必须应对的驾驶员间异质性。因此，Multimental-IAS 为驾驶员监测中的非 IID 泛化、个性化和联邦学习提供了一个具体的测试平台。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Human-Computer Interaction · arxiv.org