本帖最后由 keer_zu 于 2017-10-31 13:37 编辑
传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。
下面是Sigmoid Function
从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。
从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。
无论是哪种解释，看起来都比早期的线性激活函数(y=x),阶跃激活函数(-1/1,0/1)高明了不少。
但现在深层网络不再用这种激活函数了，而是用ReLU，在大于零时为线性，小于零为零，这种激活函数在深层网络中能有效对抗训练过程中的梯度消失问题。
|
楼主
