神经网络正向传播与反向传播

假设网络结构如下:

初始化参数为：

正像传播： 公式： （也可以用tanh函数代替） 计算：

反向传播： 对于输出层误差：

对于隐藏层误差：

权重更新：

偏向更新：

计算（假设学习率为0.9）：