何恺明“残差之父”身份被挑战LSTM之父向何恺明开炮
残差网络ResNet的“奠基人”何恺明，被挑战了。
这次不是别人，正是LSTM之父Jürgen Schmidhuber。他不是为自己发声，而是替LSTM另一位作者Sepp Hochreiter鸣不平：
早在1991年，Hochreiter在博士论文中就提出过“循环残差连接”解决梯度消失问题，核心机制就是——单元自连接、权重为1.0，误差信号不会消失，理论上就是最早的残差学习结构。
这个思想后来被发展成了LSTM的核心机制，也就是恒定误差轮盘（CEC），再加上遗忘门之后演化成vanilla LSTM。
接着是2005年，LSTM被“展开”成前馈神经网络，奠定了深度网络基础。
2015年，Highway网络横空出世，用“门控残差”首次突破百层深度。
ResNet则在同年年末爆火，把残差连接彻底带入主流视野。
但Jürgen强调，这三者的残差机制内核是一样的：都是基于“1.0权重恒等连接”，只是表达形式不同。
更进一步，ResNet其实可以被视为“门恒为1的Highway网络”，而Highway本身又是前馈版的LSTM。
换句话说，如果追根溯源，残差网络真正的源头——可能得追溯到30年前的LSTM论文原型。
不过这也是Jürgen一贯的风格。他之前就曾表示，AlexNet、VGG、GAN、Transformer都“受他实验室启发”，引发不少争议。
网友调侃：Schmidhuber is all you need.
看来，这场“AI功劳簿”的争议还远远没完。
