跳到正文
原文
arXiv · Neural and Evolutionary Computing· Fernando Berzal
· 22 小时前

DL101 神经网络模型的表征能力

DL101 The Representation Capability of Neural Network Models

预印本 · 尚未经过同行评审

AI 导读

该文指出万能逼近定理只保证浅层网络可逼近连续函数,而深度带来的表征能力随层数指数增长,深度比宽度更强。

摘要 · AI 翻译

通用逼近定理(Cybenko、Funahashi、Hornik 与 Leshno)为神经网络为何强大到足以建模复杂的非线性现象提供了数学依据。浅层网络可以逼近紧集上的任意连续函数。Leshno 的定理阐明,非多项式激活函数是实现通用性的必要条件,这解释了为何 ReLU、logistic、双曲正切以及其他常见激活函数有效(而纯多项式则不行)。然而,逼近定理并不提供效率、训练或泛化方面的保证。它们既未说明达到给定精度需要多少神经元,也未说明梯度下降能否找到正确的参数,更未说明在有限数据上训练的网络能否良好泛化。Barron 针对特定函数类给出了定量误差界(对具有有界傅里叶范数的函数的逼近速率),而 Mont\'ufar 则首次表明表达能力随深度呈指数增长(以线性区域的数量衡量)。在参数数量相同的情况下,深层网络严格比浅层网络更具表达能力。深度从根本上比宽度更强大,这为使用深度学习模型提供了严格的数学解释。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。