ISLR第四章的理解

为什么线性回归不可用

通常，两个以上定性变量不能用线性回归建立模型 线性模型不能保证预测值在0，1之间

The Logistic Model

logistic function

odds 发生比

范围为0到 ∞$/infty$

log-odds-logit

The left-hand side is called the log-odds or logit. We see that the logistic regression model (4.2) has a logit that is linear in X.

使用极大似然法估计回归系数,对虚拟变量也适用

Multiple Logistic Model

定义 混淆现象 只用一个预测变量得到的结果可能与多个预测变量得到的结果完全不一样，在这些因素具有相关性时更加明显。

Linear Discriminant Analysis

优点：

运用贝叶斯定理进行分类

贝叶斯定理

正态分布密度函数

把正太分布密度函数代入可得，贝叶斯分类器把观测分到使

最大的一组类别中。但实际上，参数需要进行估计。 LDA使用以下参数估计

σ^2=1n−K∑Kk=1∑i:yi=k(xi−μ^k)2$/hat/sigma^2=/frac{1}{n-K}/sum_{k=1}^K/sum_{i:y_i=k}(x_i-/hat/mu_k)^2$

π^k=nkn$/hat/pi_k=/frac{n_k}{n}$

其中n为观测总量，nk$n_k$为属于第k类的量,μk$/mu_k$为第k类观测的均值。 贝叶斯决策边界