使用python实现ANN

本文实例为大家分享了python实现ANN的具体代码，供大家参考，具体内容如下

1.简要介绍神经网络

神经网络是具有适应性的简单单元组成的广泛并行互联的网络。它的组织能够模拟生物神经系统对真实世界物体做做出的反应。神经网络的最基本的成分是神经元模型，也就是最简单的神经元模型。

“M-P模型”

如上图所示，神经元接收到来自n个其他神经元传递过来的输入信号，这些信号通过带权重的链接进行传递。神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出

激活函数：

理想的激活函数应该是阶跃函数，也就是它能够将输入值映射成为输出值0或1。其中“0”代表神经元抑制，“1”代表神经元兴奋。但是由于阶跃函数不连续且不可导，因此实际上常常使用sigmoid函数当做神经元的激活函数。它能够将可能在较大范围内变化的输出值挤压到（0，1）之间这个范围内。因此有时也成为挤压函数。常用的sigmoid函数是回归函数

f(x) = 1/(1+e^(-x))

如下图所示：

感知机：

感知机是最简单的神经网络，它由两层神经元组成。输入层接受外界信号后传递给输出层。输出层是M-P神经元。感知机也成为阈值逻辑单元。感知机可以通过采用监督学习来逐步增强模式划分的能力，达到学习的目的。

感知机能够实现简单的逻辑运算。

一般的，对于给定训练数据集，权重Wi以及阈值θ可以通过学习得到。其中阈值(bias)可以通过学习得到。在输出神经元中，阈值可以看做是一个固定输入为-1，0的哑结点，所对应的连接权重为Wn+1，从而使得权重和阈值的学习统一为权重的学习。

感知机的学习规则非常简单，对于训练样本（X，y），若当前感知机输出为y',则感知机做如下调整

其中，η属于（0，1）,称为“学习率”

若感知机对训练样例预测正确，则感知机不发生变化，否则将根据错误的程度进行权重的调整。

需要注意的是，感知机只有输出神经元进行激活函数处理，因此它的学习能力非常有限，也就是因为它只有一层功能神经元。

可以证明，若两类模式实现性可分的，即存在一个超平面可以将他们分开，则利用感知机一定会收敛，可以求得一个权向量。否则，感知机的学习过程将会发生震荡，导致参数难以稳定下来，不等求得合适的解。例如，单层感知机不能解决抑或问题。