二、神经网络的发展阶段

1982年，物理学家霍普菲尔德发明了以他名字命名的霍普菲尔德神经网络。该网络可以模拟人类的记忆，结合不同的激活函数，用于优化计算和联想记忆。但由于易陷入局部最值，该算法在当时并没有引起轰动。1986年，深度学习之父辛顿与鲁梅尔哈特、威廉姆斯一同提出了一种适用于多层感知机的反向传播（back propagation，BP）算法。事实上，沃伯斯在1974年就发现了BP神经网络的学习算法，但没被关注。BP神经网络在传统神经网络正向传播的基础上，增加了误差的反向传播过程，使得神经元之间的权值和阈值得到不断的调整，直到迭代收敛，并证明了神经网络的全局逼近定理。该模型完美地解决了非线性分类问题，让神经网络再次受到广泛关注。

由于当时计算机的硬件水平有限、运算能力不足，加上当时数据采集困难，这就导致当神经网络的规模增大时，BP神经网络出现了“梯度退化”问题与模型过拟合现象，导致BP神经网络应用受到了很大限制。再加上20世纪90年代中期，以支持向量机（support vector machine，SVM）算法为代表的其他浅层机器学习算法被提出，并在分类、回归问题上均取得了很好的效果（特别是对于小样本数据的分类与回归问题），所以神经网络的发展再次进入了瓶颈期。