ContextTom：利用早期空间上下文的免训练视频 VLM 加速

arXiv:2610.32992v1 公告类型：新摘要：视频视觉语言模型在给出答案前要处理数千个视觉 token。提前减少这些 token 可以节省计算，但也决定了哪些证据能到达语言模型。我们提出 ContextTom，一个无需训练的框架，它将时间压缩与空间压缩的时机分开。其核心思想是在视觉编码之前压缩时间，同时通过早期多模态处理保持空间覆盖。固定预算的时间划分产生具有代表性的 medoid 锚点，并辅以来自邻近观测的有界局部细节。这些锚点通过一段较短的解码器前缀保留其完整的空间网格，使问题 token 能够访问视觉证据，并完成 Qwen3-VL 的多级视觉注入。随后，ContextTom 利用查询注意力以及各视觉特征层级之间的一致性来选择空间代表，并直接从其已计算的状态继续。这一调度减少了视觉计算和后续解码器的工作量，同时复用了前缀。在 Qwen3-VL-8B 上，ContextTom 在 Video-MME Short 上达到 76.22% 的准确率，平均首 token 时间（TTFT）为 123.5 ms，相比完整输入推理实现了 2.77 倍加速。它在 EgoSchema 上以 2.82 倍加速达到与完整输入相同的 72.20% 准确率，并在 LongVideoBench 上以 59.24% 的准确率实现 5.54 倍加速。

中文由 AI 翻译，仅供参考，以原文为准。