DTA-GT：用于神经网络表征学习的面向方向与拓扑的图Transformer

架构属性预测器通过从少量已评估候选架构中估计准确率或延迟，降低神经网络架构搜索的成本。神经网络架构是操作标记的有向无环图（DAG），其中边方向决定计算角色与执行依赖。现有的图 Transformer 预测器以不同方式纳入拓扑与方向信息，但主要关注特定机制，而非在编码器范围内对这些语义进行协同建模。我们提出编码器范围方向一致性，这一设计原则在节点初始化、全局谱编码、成对交互与特征更新之间协同建模有向计算语义。为实现该原则，我们提出 DTA-GT，一种方向与拓扑感知图 Transformer，集成了方向与拓扑感知节点初始化、磁拉普拉斯谱编码、方向对偶结构注意力以及方向敏感 MoE-FFN。在 NAS-Bench-101 和 NAS-Bench-201 上的准确率与延迟预测中，DTA-GT 在有限预算设置下持续优于代表性的序列、GNN、Transformer 与混合预测器。消融实验与磁谱控制支持方向感知阶段与方向敏感谱信息的贡献，机制诊断则刻画了模块行为。这些结果支持将编码器范围方向一致性作为架构 DAG 表示的有效设计原则。

中文由 AI 翻译，仅供参考，以原文为准。