STAG-Net：面向轻量头部姿态估计的关键点组结构感知注意力
STAG-Net: Structure-Aware Attention over Landmark Groups for Lightweight Head Pose Estimation
预印本 · 尚未经过同行评审
STAG-Net 用面部关键点组注意力估计头部姿态，在三个数据集上误差最低，参数量和计算量远低于 FSA-Net。
头部姿态估计对于人机交互和驾驶员监控非常重要，但许多基于图像的方法对于资源受限的部署而言成本仍然过高。我们提出 STAG-Net，一种基于关键点组的结构感知注意力轻量级头部姿态估计方法，它通过运动感知选择、空间聚类、紧凑的 DeepSet 编码器、自注意力和全局几何描述符，从面部关键点估计头部姿态。我们开发了使用 FaceMesh 和 Face Alignment Network 关键点的变体，并在 300W-LP、AFLW2000 和 BIWI 上以跨数据集和受试者独立协议对它们进行评估。在所有评估设置中，STAG-Net 在所有比较的基于关键点的方法中取得了最低的平均绝对误差。在具有有效检测的 BIWI 帧上，FAN 变体还记录了所有比较方法中最低的总体误差，在跨数据集评估下达到 $3.51^\circ$，在受试者独立评估下达到 $2.39^\circ$。回归器仅使用 0.012 至 0.043 百万个参数和 24.1 至 83.6 千次 FLOPs，FLOPs 比 FSA-Net 少约三个数量级。尽管包含关键点提取和回归，FaceMesh 流水线在 Tesla T4 GPU 上达到每秒 322.9 帧，几乎是测得最快的基于图像的基线每秒 164.5 帧的两倍，在 CPU 上达到每秒 111.0 帧。按数据集大小归一化后，STAG-Net 处理训练样本的速度比 FSA-Net 快七到八倍，比 HopeNet 和 TokenHPE 快一百倍以上，而完整训练在 28 分钟内完成。这些结果表明，STAG-Net 将领先的基于关键点的精度与显著更低的训练和推理成本相结合。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Human-Computer Interaction · arxiv.org