分形盆地几何与深度学习可预测性和可重复性的极限

可预测性的根本极限是我们理解许多物理与计算系统的核心。在深度学习中，即便外部随机性来源受到控制，训练结果往往仍难以预测和复现，然而其背后的机制仍不清楚。在此，我们提出“千疮百孔吸引盆几何”（riddled basin geometry）作为一种统一的动力系统机制：每一个通向某一解的初始化都任意地靠近通向不同解的初始化，形成一个在任意精细尺度上都具有结构的胖分形。利用一个极简神经网络模型，我们解析地建立了通向“千疮百孔”（riddling）的经典路径，并推导出近乎为零的不确定性指数：即便初始化精度急剧提高，也只能在结果可预测性上带来边际收益。在深度网络中，相互交织的训练终点与近乎为零的参数空间指数提供了稳健的特征，这些特征与在所测试的架构、优化器和训练协议中出现的“千疮百孔”现象相一致，从而为原本彼此迥异的经验观察提供了一种共同的动力学解释。我们进一步引入功能不确定性指数，将这种对尺度不敏感不可复现性的诊断从参数空间扩展到所学函数本身。总之，我们的结果支持将千疮百孔吸引盆几何作为深度学习不可复现性的一种候选组织原则，并对优化以及人工智能的可靠部署具有实际意义。

中文由 AI 翻译，仅供参考，以原文为准。