神经网络的 Delta 学习规则（learning rule）

1. δ$/delta$ 学习规则

1986 年，由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 Δ$/Delta$ 学习规则，该规则亦可称为连续感知器学习规则（与离散感知器学习规则相并行）。Δ$/Delta$ 规则的学习信号规定为：

r=(dj−f(wTjx))f′(wTjx)=(dj−oj))f′(netj) $$r=/left(d_j-f(w_j^Tx)/right)f'(w_j^Tx)=/left(d_j-o_j)/right)f'(/text{net}_j)$$

j$j$ 表示不同的迭代过程。上式定义的学习信号称为 δ$/delta$。显然 δ$/delta$ 规则要求转移函数可导。

2. 由 δ$/delta$ 规则到最小平方误差

定义神经元输出与期望输出之间的平方误差为：

E=12(dj−oj)2=12(dj−f(wTjx))2 $$E=/frac12/left(d_j-o_j/right)^2=/frac12/left(d_j-f(w_j^Tx)/right)^2$$

欲使误差 E$E$ 最小，梯度的变化方向应是负梯度方向：

Δwj=−η∇E $$/Delta w_j=-/eta /nabla E$$

其中：

∇E=−(dj−f(wTjx))f′(wTjx)x $$/nabla E=-/left(d_j-f(w_j^Tx)/right)f'(w_j^Tx)x$$

因此：

Δwj=η(dj−f(wTjx))f′(wTjx)x=η(dj−f(wTjx))f′(netj)x $$/Delta w_j=/eta/left(d_j-f(w_j^Tx)/right)f'(w_j^Tx)x=/eta/left(d_j-f(w_j^Tx)/right)f'(/text{net}_j)x$$