基本介绍

神经网络最基本的成分是神经元模型，当输入值超过了神经元的阈值，神经元就被激活了。然后通过激活函数就可以将输出值对应为0或者1。

感知机

感知机是由两层神经元组成，输入层接收数据，输出层经过激活函数可以输出0或者1，所以感知机能实现一些基本的逻辑运算，下面来看看其中的数学原理。

感知机的数学原理

公式: $f(x)=sign(w*x+b)$

其中

x是输入，w是权重，b是偏差（偏置项）

数学原理很简单，那开始实现一些基本的逻辑运算

• 与运算
• 或运算
• 非运算
• 异或运算

1.与运算

x1	x2	x1 AND X2
0	0	0
0	1	0
1	0	0
1	1	1

对应的不等式为：

b<0

w2+b<0

w1+b<0

w1+w2+b>=0

综上：只要权重满足w1,w2<-b,w1+w2>-b就可以实现与运算；

# 1.与运算
import numpy as np

def AND(x1,x2):
    x=np.array([x1,x2])
    w=np.array([1,1])
    b=-1.5
    y=np.sum(x*w)+b
    if(y>=0):
        return 1
    elif(y<0):
        return 0
    
print(AND(1,1))
print(AND(0,1))
print(AND(1,0))
print(AND(0,0))

2.或运算

x1	x2	x1 OR X2
0	0	0
0	1	1
1	0	1
1	1	1

对应的不等式为：OR

b<0

w2+b>=0

w1+b>=0

w1+w2+b>=0

综上：只要权重满足w1,w2>=-b就可以实现与运算；

def OR(x1,x2):
    x=np.array([x1,x2])
    w=np.array([1,1])
    b=-0.5
    y=np.sum(x*w)+b
    if(y>=0):
        return 1
    elif(y<0):
        return 0
    
    
print(OR(1,1))
print(OR(0,1))
print(OR(1,0))
print(OR(0,0))

3.非运算

x	NOT x
0	1
1	0

对应的不等式为：

b>=0

w+b<0

综上：只要权重满足w<-b,b>=0就可以实现非运算；

def NOT(x):
    x=np.array([x])
    w=np.array([-1])
    b=0.5
    y=np.sum(x*w)+b
    if(y>=0):
        return 1
    elif(y<0):
        return 0
    
    
print(NOT(1))
print(NOT(0))

4.异或运算

x1	x2	x1 XOR X2
0	0	0
0	1	1
1	0	1
1	1	0

对应的不等式为：

b<0

w2+b>=0

x1+b>=0

w1+w2+b<0

这个不等式无解，所以这就是单层感知机的弊端，不能进行异或运算。 所以这个时候就要用多层感知机去解决这个问题了

#用多层感知机来解决这个问题
def XOR(x1,x2):
    a=NOT(x1)
    b=NOT(x2)
    X1=AND(a,x2)
    X2=AND(x1,b)
    Y=OR(X1,X2)
    print(Y)
        
XOR(0,0)    
XOR(1,1)
XOR(0,1)
XOR(1,0)

通过这几个例子我们就知道了单层感知机只能解决线性可分问题，对于非线性可分问题的求解还得通过多层感知机（神经网络）。

对于神经网络的训练

需要训练多层网络，就需要更强大的学习算法---BP算法（反向传播算法） 对训练集假设神经网络的输出为$\hat{y}_{j}^{k}=f(\beta_j-\theta_j)$ 则均方误差为:$E_k=\frac{1}{2}\sum_{j=1}^{l}(\hat{y}_j^k-y_j^k)^2$ BP算法还是基于梯度下降的算法，以负梯度方向进行调参，目标是将训练集上的累计误差$E=\frac{1}{m}\sum_{k=1}^mE_k$最小化。 基本的步骤就是计算输出--->计算输出层的梯度项--->计算隐层的梯度项--->然后根据更新公式更新权重和阈值，所以这叫做反向传播算法。对于权重和阈值的更新公式推导等后期深度学习专题再专门讲，这里就简单介绍一下就好

缺点

反向传播往往容易过拟合，通常用“早停”或者“正则化”的策略来防止过拟合。

最后来个实战例子

使用多层感知机对葡萄酒数据集来分析葡萄酒的优劣

import pandas as pd
wine = pd.read_csv('./wine.csv', names = ["Cultivator", "Alchol", "Malic_Acid", "Ash", "Alcalinity_of_Ash", "Magnesium", "Total_phenols", "Falvanoids", "Nonflavanoid_phenols", "Proanthocyanins", "Color_intensity", "Hue", "OD280", "Proline"])
wine.head(10)

wine.describe().transpose()

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import classification_report,confusion_matrix


X = wine.drop('Cultivator',axis=1)
y = wine['Cultivator']
X_train, X_test, y_train, y_test = train_test_split(X, y)
scaler = StandardScaler()
scaler.fit(X_train)
X_train = scaler.transform(X_train)
X_test = scaler.transform(X_test)
mlp = MLPClassifier(hidden_layer_sizes=(13,13,13),max_iter=500)
mlp.fit(X_train,y_train)
predictions = mlp.predict(X_test)
print(confusion_matrix(y_test,predictions))
print(classification_report(y_test,predictions))
print(len(mlp.coefs_))
print(mlp.intercepts_)