具有 sigmoid 输出激活的生成先验的精确信号恢复

我们证明了，对于具有分段线性激活函数和最终 sigmoid 激活函数的前馈神经网络，在生成压缩感知中可以实现精确信号恢复，且无需假设扩张性。考虑一个深度为 $d$ 的 ReLU 网络，其最终激活函数为 sigmoid，其输入层维度为 $k$，是最窄的一层，并令 $K$ 为其各层宽度的几何平均值。我们证明，以高概率，所有取值位于 $[\delta, 1 - \delta]$ 范围内的信号都能从 $m \gtrsim k(d \log(K/k) + \log(1+\log(1/\delta)))$ 次测量中被一致恢复。

中文由 AI 翻译，仅供参考，以原文为准。