跳到正文
原文
arXiv · Neural and Evolutionary Computing· Zilan Cheng, Li-Lian Wang, Zhongjian Wang
· 22 小时前

具有最优神经元数量和最优比特复杂度的任意精度神经逼近

Arbitrary-Accuracy Neural Approximation with Optimal Neuron Count and Optimal Bit Complexity

预印本 · 尚未经过同行评审

AI 导读

构造出仅需 d+1 个隐藏神经元即可任意精度逼近连续函数的网络,且比特复杂度达到最优。

摘要 · AI 翻译

我们研究在 $[0,1]^d$ 上以任意精度逼近连续函数所需的最少隐藏神经元数量以及相关的编码复杂度。对于 $d\geq 2$,我们构造了两个固定的、显式定义的激活函数,并且对于每一个,构造了一个闭式网络,其具有宽度为 $d$ 和 $1$ 的两个隐藏层,可在一致范数下达到任意精度。我们证明,在具有局部可积激活函数和仿射输出的标准前馈网络中,$d+1$ 是隐藏神经元总数的精确最小值。我们进一步给出了一个更简单的构造,使用一个结合了向下取整函数和指数函数的单一初等激活函数。该构造需要宽度为 $d$、$1$ 和 $2$ 的三个隐藏层。如果允许跳跃连接,宽度 $d$、$1$ 和 $1$ 就足够了。对于 $\alpha\in(0,1]$ 的有界 $\alpha$-H\"older 类,使用数字提取激活函数的网络和使用初等激活函数的网络需要 $O(\varepsilon^{-d/\alpha}\log(1/\varepsilon))$ 比特,在对数因子范围内与度量熵下界相匹配。另一个 $(d,1)$ 网络沿生成树存储相邻值的差值,仅需要 $\Theta(\varepsilon^{-d/\alpha})$ 比特,并且在神经元数量和比特复杂度上都是最优的。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。