本文用于复习《Machine Learning》第二章部分内容

内容来自于Andrew Ng的机器学习课程，主要是为了回忆起来方便

第二章后面主要讲解了标准方程也就是Normal Equation和octave的一些应用

∂∂θjJ(θ)=...=0( for every j ) $$/frac{/partial }{/partial θ_j}J(θ)=...=0(/ for / every / j/ )$$

X=⎛⎝⎜⎜⎜⎜111150010020060523113110405106⎞⎠⎟⎟⎟⎟ $$X= /left( /begin{array}{ccc}1 & 500 & 5 & 1 & 40 //1 & 100 & 2 & 3 & 5 //1 & 200 & 3 & 1 & 10 // 1 & 60 & 1 & 10 & 6 ///end{array} /right)$$ y=⎛⎝⎜⎜⎜⎜2000500900300⎞⎠⎟⎟⎟⎟ $$y= /left( /begin{array}{ccc} 2000 // 500 //900 // 300 ///end{array} /right)$$

说了这么多，那么Normal Equation到底是什么呢？试想，我们一个特征就要求一次导，100个特征难道要循环求导么？这样计算开销会不会太大了，这里Normal Equation是一个矩阵公式，一次性求完导数，它的推导主要与数学有关，这里就不细究了。 我们的目标就是求使J达到最小值的θj$θ_j$的值，公式如下 θ=(XTX)−1XTy $$θ = (X^TX)^{-1}X^Ty$$ 在程序（octave/matlab）当中该公式表示如下

特别注意：如果矩阵不能取反，则可能有多余特征，或者实例过少特征过多

Octave 关于Octave在网上应该有很多教程或是说它专门的Wiki，当然个人觉得做作业是很好地锻炼方法，这里就不介绍Octave有什么函数要怎么使用了，而且课堂要求也说不希望学生不经过思考就直接获得源码。

这里只以课堂中出现的关于计算cost function的代码为例，其实matlab相关的代码量都不大，只要学会基本语法就可以自己编程了。