前向前向算法中goodness函数设计的选择性与形状

前向-前向（Forward-Forward，FF）算法使用局部“优度函数”（goodness function）逐层训练网络，但活动统计量的选择仍是一个重要的设计问题。我们系统地研究了选择性与活动形状如何影响 FF 学习，在基于归一化高阶矩的形状敏感目标之外，引入了基于 top-$k$ 和 entmax 加权能量的选择性优度函数。特别地，我们提出了突发性优度（burstiness goodness），一种无参数、尺度不变的超额峰度目标，用于奖励重尾活动模式。我们的研究在六个小图像数据集上考察了优度函数以及激活函数和标签注入的选择，并通过受控实验分离它们各自的影响。在验证集调优、五个随机种子的 Fashion-MNIST 实验中，采用匹配的 ReLU 激活、标准标签注入和逐层评分，突发性优度将准确率从 $73.2\pm0.9\%$ 提升至 $88.6\pm0.4\%$（相对于平方和）。在 CIFAR-10 上，在相同的独立逐块标签通路下，突发性优度将块局部 ResNet-18 的准确率从 $28.9\pm0.5\%$ 提升至 $46.8\pm2.5\%$。这些结果表明，活动形状统计量能够在所测试的设置中提供有效的局部学习信号。代码见 https://github.com/suayptalha/ff-selectivity-shape。

中文由 AI 翻译，仅供参考，以原文为准。