线性模型

1.基本模式 X=(x1,x2,x3,…,xn)，线性模型试图学得一个通过属性的线性组合进行预测的函数： f(X) = w1x1 + w2x2 + … + wnxn + b 用向量形式: f(x)=wTx + b W和b学得之后，模型就可以确定。

eg：若在西瓜问题中学得， f好瓜(X) = 0.2X色泽 + 0.5 X根蒂 + 0.3 X敲声 + 1 表明：综合考虑色泽、根蒂、敲声来判断瓜好不好，其中根蒂最重要，敲声比色泽更重要。

注意： 1）线性模型简单、易于建模 2）W直观的表达各属性在预测中的重要性，因此线性模型具有很好的解释性

2.线性回归(Linear Regression) 1）定义： 利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。 这种函数是一个或多个称为回归系数的模型参数的线性组合。 只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

注意： 1）回归分析（regression analysis)：确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

2）回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；

3）在线性回归中，按照因变量的多少，可分为简单回归分析和多重回归分析；

4）按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

2）拟合方程：最小二乘法 在线性回归中，最小二乘法试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

确定参数：

3）用途分为以下两大类：

一、进行预测：如果目标是预测或者映射，线性回归可以用来对观测数据集和X的值拟合出一个预测模型。

二、分析相关性强度，降维:定一个变量y和一些变量X1,…,Xp，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的Xj，并识别出哪些Xj的子集包含了关于y的冗余信息。

注意： 1）最小二乘法：又称最小平方法，是一种数学优化技术。

2）它通过最小化误差的平方和寻找数据的最佳函数匹配。

3）线性回归模型经常用最小二乘逼近来拟合，但他们也可能用别的方法来拟合，比如用最小化“拟合缺陷”在一些其他规范里（比如最小绝对误差回归），或者在桥回归中最小化最小二乘损失函数的惩罚.

相反,最小二乘逼近可以用来拟合那些非线性的模型.

因此，尽管“最小二乘法”和“线性模型”是紧密相连的，但他们是不能划等号的。

3.线性判别分析（Linear Discriminant Analysis）

线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，在二分类问题上最早由【Fisher，1936】提出，亦称“Fisher判别分析”。

1）LDA可以用于对数据进行分类，首先，我们要用事先分好类的数据对LDA进行训练，建立判别模型，所以LDA属于监督学习的算法。

2）LDA的基本思想：投影。将n维数据投影到低维空间，使得投影后组与组之间尽可能分开，即在该空间中有最佳的可分离性。衡量标准：新的子空间有最大的类间距离和最小的类内距离。

3）LDA的目标：求出使新的子空间有最大的类间距离和最小的类内距离的向量a，构造出判别模型。

4）构造判别模型