第163章 万能逼近定理（2/2）

接下来，还是干点正事吧。

江寒打算进行一项重量级的研究。

这也是最近一段时间里，他想要完成的论文中，最重要的一篇。

在这篇论文里，江寒打算提出一个重要概念：“万能逼近定理”。

【一个前馈神经网络，如果具有线性输出层，和至少一层隐藏层，并且任意隐藏层的激活函数，具有“挤压”性质，例如使用了logistic函数、sigmoid函数……

那么，只要该网络拥有足够多的隐藏单元，就可以以任意的精度，来近似地表达任何从一个有限维空间到另一个有限维空间的borel可测函数。】

这就是著名的“万能逼近定理”，“人工神经网络”最重要的理论基础之一。

这个定理表明：

一个前馈神经网络就等于一个表示函数的万能系统。

无论计算机试图学习什么函数，都可以找到一个规模足够的mlp，来表示这个函数。

换句话说，给定一个函数，必然存在一个前馈网络，能够近似表达该函数！

多层神经网络，在理论上来说，几乎可以完成任何学习任务！

但不存在一个万能过程，既能够验证训练集上的特殊样本，又能够选择一个函数，来扩展到训练集上没有的点……

即使mlp能够表示该函数，学习也有可能失败。

原因很简单：谁也不能保证，训练算法一定能够学得这个函数。

用于训练的优化算法，有可能找不到用于期望函数的参数值；

训练算法也可能由于过拟合而选择了错误的函数……

这也是没办法的事情。

普遍优越的机器学习算法？

抱歉，在这个世界上并不存在！

很明显，“万能逼近定理”正是对于“感知机如何处理非线性问题”的正面解答。

“多层感知机”那篇论文里，虽然也表明了类似的观点，但更多是直觉上、经验上的，并没有在理论上加以证明。

事实上，“万能逼近定理”的严格证明，用到了极其复杂的高等数学技巧。

江寒之前研究了很久，始终也没能攻克这个难关。

然而，今天也不知怎么了，竟然如有神助，只用了5个多小时，就找到了思路，并完成了证明。

好吧，估计这就是脑力提升的效果了。

现在自己的大脑，和那些一流科学家比，可能还有点差距，但在普通大学生里，应该算是特别强悍的一类了。

接下来，江寒就把完整的证明过程书写了下来，输入计算机形成文稿，再起个牛逼拉轰的名字，然后……

江寒将其妥善保存了起来。

先不急着扔出去。

等小号的《论感知机的局限——异或问题的无解》登刊之后，才是这一篇《万能逼近定理》问世的最好时机。

当然，如果《论感知机的局限——异或问题的无解》不幸被退回……

那就用小号将其扔到amc的官方论坛上，曝个光，然后用大号把《万能逼近定理》投出去！

工作终于告一段落，江寒忽然感觉眼前有点发黑。

精神很疲倦，肉体有点匮乏，仿佛被掏空……

“这续航有点不太行啊，得想个办法解决一下……”

江寒自言自语。

想了想，他拿起座机听筒，拨了个内线电话。

“703的客人，您好，请问您有什么需求？”

一个好听的女子嗓音传来，好像就是那个年纪不大，有点好看的小前台。

江寒也不废话：“请帮我买些巧克力，要纯黑的，品牌在金丝猴和hkc中选。”

“数量呢？”

“100块。”

“好的，请稍等。”

那边还是很有专业素质的，什么都没问，直接照办。

二十分钟后，门铃响起。