基于偏序集建模的循环神经网络格基剪枝：修正理论及匹配稀疏度评估

循环神经网络（RNN）的幅度剪枝忽略了神经元之间的信息流动方式。早期版本提出将 RNN 依赖关系建模为偏序集（poset），并保留其依赖格的交不可约元。根据 Birkhoff 表示定理，有限偏序集的交不可约理想与其元素一一对应，因此保留它们就等于保留全部；早先使用的关键集判据恰好选出与所有其他元素可比较的那些元素，而稠密循环层中不存在这样的元素。将阈值化依赖图凝聚为强连通分量，可得到良定义的依赖序、分级序分数与无环剪枝规则；对于 Cohen-Grossberg 网络和 LSTM，无环剪枝使局部稳定性可按模块分解。对于一个 128 单元的 LSTM，在按行与分块顺序 MNIST 上以匹配稀疏度剪枝（三个随机种子、相同训练预算），原始规则会移除全部循环权重，或等同于随机列剪枝；序分数不优于度、PageRank 或范数；训练后的权重几乎没有方向性偏置；而从初始化起强制无环性在 50% 和 90% 稀疏度下分别损失 2.1 和 10.5 个百分点。在所研究的网络中，序结构必须被施加，而非被发现。

中文由 AI 翻译，仅供参考，以原文为准。