跳到正文
原文
arXiv · Neural and Evolutionary Computing· Tiantian Li, Junfeng Lu, Yifei Wang 等 6 人
· 22 小时前AI 评分45

具有内容自适应空间寻址的分层时空世界建模

Hierarchical Spatiotemporal World Modeling with Content-Adaptive Spatial Addressing

预印本 · 尚未经过同行评审

AI 导读

HiSTFormer 用分层时空RoPE与内容自适应空间偏移,在MemoryMaze和HM3D上超越基线并泛化到更长预测视野。

摘要 · AI 翻译

在部分可观测环境中进行长时程世界建模,需要紧凑的记忆,以便在累积的定位漂移下仍能保持空间结构。受海马情景记忆与空间记忆以及内嗅皮层网格细胞的多周期编码启发,我们提出 HiSTFormer,一种分层时空世界模型,它采用局部时间 RoPE 与多周期空间 RoPE 的分层组织,并结合内容条件化的地址偏移,以捕捉近期时间上下文和长程空间结构。固定容量记忆使 KV 存储和每步注意力开销随序列增长而保持有界。在 MemoryMaze 和 HM3D 上,HiSTFormer 在训练序列长度内优于强世界模型基线,并且对远超训练中所见预测时程的泛化能力显著更好,同时使用紧凑模型。分层时空设计在更深的 Transformer 堆叠中依然有效,随着深度增加带来一致的增益。这些结果表明,分层时空组织和内容自适应空间寻址为高效长时程世界建模提供了有效的归纳偏置。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。