HyVox：面向神经形态-冯·诺依曼边缘计算重新思考低功耗语音智能

我们提出 HyVox，一种混合神经形态—冯·诺依曼系统，用于在严格能量预算下进行低能耗开放集说话人识别。HyVox 在说话人嵌入处划分工作负载。神经形态处理器以稀疏、事件驱动的计算对语音进行嵌入，冯·诺依曼微控制器则保存说话人库并做出所有决策：它通过余弦相似度对查询打分、拒绝未知说话人，并通过写入原型来注册新用户，无需更新权重。在神经形态处理器上，分层时间抽象（HTA）SNN 主干为每个漏积分放电（LIF）神经元学习一个突触时间常数，将 832 个神经元分配到快、中、慢三种时间尺度上。一个 32 神经元的脉冲嵌入提取器（SEE）在每次注册新说话人并拒绝外部者的片段上预训练，将主干输出转换为训练中未见说话人的嵌入；其 32 个脉冲计数是两个处理器之间唯一的接口。为适应芯片的突触和整数预算，我们将主干压缩 6.5 倍至 29.0k 个突触，为其训练整数位移动态，并用芯片精确脉冲训练（CAST）进行微调。CAST 通过芯片整数神经元更新的可微副本进行训练，该副本由其周期精确模拟器导出，因此梯度下降优化的是芯片运行的确切权重和阈值；它使映射后的主干在未见说话人上的 top-1 准确率翻倍。在 20 个未见说话人的 Common Voice 家庭上，HyVox 在 2 名成员时达到 99.6\% top-1 和 5.5\% 拒绝 EER，在 20 名成员时达到 94.9\% 和 13.2\%，且部署在神经形态芯片上的网络与其训练模型一致。对 3 秒窗口的每次推理耗时 0.96 秒、动态能量 1.63 mJ，延迟比最快的嵌入式 ANN 基线低 42\%，动态能量比最节能的基线少 13.5 倍，总能量少 5.8 倍。

中文由 AI 翻译，仅供参考，以原文为准。