跳到正文
原文
arXiv · Neurons and Cognition· Adil Amin
· 12 天前精选AI 评分66

结构藏在缩放里:通过维度缩放探测神经对称性

Structure is in the zoom: probing neural symmetry through dimensionality scaling

预印本 · 尚未经过同行评审

AI 导读

神经群体测得的维度里,有多少来自编码本身、多少来自测量方式,一直难以分开。作者用一块含一万一千个小鼠初级视皮层神经元的记录,比较沿随机刺激子集、漂移方向和神经元数量三种轴得到的参与率斜率,把每个指数拆成采样下限与沿声明轴的位移,再用打乱标签和仅在共享干扰变量的样本间打乱两种零模型检验。结果方向对齐的位移在八段光栅记录中全部通过标签零模型,在另一实验室的 32 只动物中均为正值,并读出编码 O(2) 对称性的两个扇区;作者还把同一拆分用于五种架构的语言模型各层,并发布了不训练探针、可逐层读取任意数组或 Hugging Face 模型层的工具 rung。该预印本共 63 页、20 幅图,尚未经同行评审。

推荐理由

用一万一千个小鼠初级视皮层神经元的记录,把参与率随子样本量变化的斜率拆成采样下限与沿指定轴的结构位移,并在语言模型各层上做同样拆分。

摘要 · AI 翻译

一个神经群体的测量维度中有多少是编码本身,又有多少是测量行为本身?参与率对子样本量的斜率,被报告为皮层群体以及语言模型各层的一个属于系统本身的数值。事实并非如此。一块包含一万一千个小鼠 V1 神经元的区域返回了三个斜率:沿随机刺激子集为 0.25,沿漂移方向为 0.31,沿神经元数量为 0.35,而只有中间那个携带结构;另外两个是采样下限。我们把每个指数拆分为该下限与沿某个声明轴获得的位移,并将该位移对照两个零假设来解读:置换标签,以及仅在共享某个干扰因素的样本之间置换标签。在 V1 上,方向对齐的位移在八段光栅记录中的八段都清除了标签零假设,在第二个实验室的 32 只动物中的 32 只中均为正值,并且读取了编码 O(2) 对称性的两个扇区。偶扇区决定阶梯如何开始:它决定添加类别的哪种顺序爬升得更快,预测等变网络中的相反顺序,并在粗粒化下按一个闭式因子流动,该因子说明了朝向柱对介观尺度信号的作用。奇扇区由方向选择性神经元承载,使阶梯在超过一半类别后仍继续爬升。在语言模型上,同样的拆分在五种架构上将继承自 token 的内容与随深度构建的结构区分开来,而第二个零假设表明,一个二十个标准差的语法性信号完全是载体组成。有了下限和一个声明轴,维度缩放就是一种轴分辨的测量,而当该轴遵循已知对称性时,它就能解析出编码的扇区内容。该工具 rung 不训练任何探针,可逐层读取任意数组或任意 Hugging Face 模型(https://github.com/adilamin89/structure-in-the-zoom)。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neurons and Cognition · arxiv.org

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。