正如之前所述,神经网络学习的本质是通过训练数据学习得到网络参数,使得对应的神经网络能最优地表达输入和目标输出之间的映射关系。自然的一个问题就是,神经网络是否能够表示某种映射关系。也就是说,希望找到的映射关系是否包含在给定结构的神经网络中。
非常幸运的是,有学者严格地证明了一个三层(只含一个隐层)的BP神经网络可以以任意精度逼近任意紧集上的连续映射。该定理称为全局逼近定理,从理论上保障了输入和目标输出间映射被有效表示的可能。