MulClip：一种用于微控制器上储备池计算、具有单调与折叠两种区间的无表格激活函数
MulClip: A table-free activation function with monotonic and folding regimes for reservoir computing on microcontrollers
预印本 · 尚未经过同行评审
MulClip 激活函数在 Cortex-M4 上状态更新时间仅为 tanh 的 0.34 倍，8 位奇偶校验准确率从 0.76-0.78 升至 0.97-0.98。
本信提出 MulClip，一种用于微控制器（MCU）上储备池计算（RC）的轻量级激活函数。在环形储备池这一具有代表性的稀疏 RC 拓扑中，乘累加运算很少，而在 Cortex-M4 上评估 tanh 占状态更新时间的 75%。MulClip 仅使用比较、绝对值、乘法和减法就为响应引入曲率，并且将其裁剪阈值不设在极值处，而设在响应经过极值后回到零的点。因此，单个函数同时具有单调区间和非单调折叠区间，从而提高了单个单元的表达能力。使用哪个区间由通常的超参数搜索决定，例如对输入尺度进行搜索，因此无需针对任务调整阈值。在硬件上测得的状态更新时间为 tanh 的 0.34 倍，且短于所评估的 11 种 tanh 近似中的任何一种。在基于 PC 的评估中，三阶 MulClip 在 NARMA-20 上取得的 NMSE 比 tanh 低 22%，其中预激活值保持在单调区间；在 8 位奇偶校验任务上，它将无折叠的单调裁剪变体的准确率从 0.76-0.78 提高到 0.97-0.98。对于这两个任务，设备端推理得到的值与 PC 上几乎相同。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neural and Evolutionary Computing · arxiv.org