MGS-DETR：用于驾驶员疲劳与分心联合检测的多粒度空间表征学习框架

驾驶员疲劳和分心驾驶是交通事故的主要原因，然而现有的基于视觉的检测器在复杂的车内条件下往往存在特征建模不平衡、跨层融合不足以及细粒度空间细节丢失的问题。为解决这些问题，我们提出了 MGS-DETR，这是一个基于 RT-DETR 构建的多粒度空间表征学习框架，用于联合检测驾驶员疲劳和分心。在编码阶段，我们开发了多尺度空间感知编码器（MSAE），以平衡局部细粒度疲劳线索和全局分心动作上下文。在特征融合阶段，我们设计了全局引导交叉调制融合（G-CMF），以在姿态变化和遮挡条件下增强浅层空间细节与深层语义特征之间的交互。在多尺度传输阶段，我们构建了空间细节增强特征金字塔网络（SDE-FPN），以在特征传输过程中保留细粒度空间细节，并改善疲劳相关视觉征象的标注区域定位。实验在复合分心与疲劳数据集（CDFD）和自采集的真实世界疲劳与分心驾驶数据集（RWFDD）上进行。在 CDFD 上，MGS-DETR 达到 0.9628 精确率、0.9618 召回率、0.9708 mAP50 和 0.8159 mAP50-95，相比 RT-DETR-r18 将 mAP50-95 提升了 5.44 个百分点。在源视频组不相交的 RWFDD 划分下，其获得 0.8868 精确率、0.8946 召回率、0.8907 F1 分数、0.9123 mAP50 和 0.8501 mAP50-95。双向迁移实验在所述九类协议下分别报告。完整模型在桌面测试平台上以 164.50 FPS 运行，具有 21.90 M 参数和 64.0 GFLOPs；嵌入式设备吞吐量在 Jetson Orin NX 上单独测量。

中文由 AI 翻译，仅供参考，以原文为准。