AutoHebb：能够零样本推断与持续学习的自修改神经网络
AutoHebb: Self-Modifying Neural Networks that Zero-Shot Infer and Continually Learn
预印本 · 尚未经过同行评审
现有模型在零样本推断和持续学习上常缺少强归纳偏置与自主的学习控制。作者提出 AutoHebb，一类在线学习的前馈网络，把外部反馈与内部生成的活动合成全局学习信号，再门控三因子赫布局部规则来更新可塑性权重，并用元学习搜索固定权重。结果显示网络能完成零样本推断任务、出现未经训练的零样本推断与持续学习能力、可逆向还原为显式算法，并在这些任务上优于现代学习模型；与相关模型的比较提示元学习、赫布可塑性和自主学习控制三者都起关键作用。该工作为预印本，尚未经同行评审。
人类和动物具有在全新情境中泛化与学习的独特能力，包括“0-shot”推理（ZI）和持续学习（CL）——两种强大的认知能力。尽管这一重要性，对ZI和CL进行建模的努力在若干方面受到严重限制。首先，现有模型通常缺乏对大脑中ZI和CL至关重要的组件，即强归纳偏置（用于ZI）和对学习的自主控制（用于CL）。其次，如果模型组件过于复杂（缺乏简洁性），模型可能难以分析；如果模型组件过于定制化（缺乏表达力），则可能过于受任务限制。在此我们引入自主Hebbian网络（“AutoHebb”），这是一类在线学习前馈神经网络，实现了强归纳偏置和自主控制的学习，并且既简洁又具有表达力。与通过外部控制的优化（例如梯度下降）进行学习的标准模型不同，AutoHebb网络将外部反馈与内部生成的活动相结合，产生一个全局学习信号（“神经调质”）反馈给网络。神经调质反过来门控一个基于生物学的局部学习规则（三因子Hebbian规则），该规则更新网络的可塑性权重。使用元学习来搜索固定的（非可塑的）权重，我们发现AutoHebb网络（1）在ZI任务上成功，（2）表现出涌现的（未经训练的）ZI/CL能力，（3）可被逆向工程为显式算法，（4）在ZI/CL任务上优于现代学习模型。最后，与相关模型的性能比较暗示了三个模型组件的重要作用：元学习、Hebbian可塑性和对学习的自主控制。这些发现表明，AutoHebb可能有助于假设生成、分析以及发现基于生物学的学习与泛化形式。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neural and Evolutionary Computing · arxiv.org