特征缩放与正规化

知识点

疑点分析

写编程作业时Octave GUI总是出现各种奇葩总是，所以一直在命令行下完成作业的编写与提交。 特征缩放可以加快梯度下降速度，如图： 梯度下降的方向为偏导数方向，即为该点的切线(面)方向。图1 、图2分别是未经特征缩放处理和经特征缩放处理过的特征图像，由图1可知，未经缩放处理的梯度下降曲曲折折迭代较多次才能从出发点A到目标点B，而图2迭代次数就少的多。该过程可用数学推导，证明特征缩放的确可以加快梯度下降速度。 特征缩放公式：θ∗=θ−averagemax−min$/theta^* = /frac{/theta - average}{max - min}$或θ∗=θmax$/theta^*=/frac{/theta}{max}$, 其中θ$/theta$为待缩放特征，average为θ$/theta$的平均值，max为最大θ$/theta$，min为最小θ$/theta$。一般将特征缩放到[－1， 1]区间，也可以是[0, 2]，也可以是[－3，3]或[-0.2，0.2]，但一最好不要太大或太小，如[-1000, 1000]、[－0.001，0.001]都是不合适缩放区间。个人感觉不能缩放区间不能太大或太小的原因应该和计算机缩放时数据损失(如double型转换成float型就会有精度损失)有关。

调试α$/alpha$，画出代价函数与梯度下降迭代图可以看出α$/alpha$是设置大了还是小了，如图： 图a可看出，代价函数很快就收敛了，证明此时的α$/alpha$设置恰到好处 图b中代价函数一直在趋向收敛但是速度很慢，应该是α$/alpha$设置太小了。 图c的代价函数趋向发散，很有可能是α$/alpha$大太导致的

Octave基本语法看这里，可以输入help fun查看fun函数的作用及用法，常用函数有：sum max min mean var plot等

术语及个人理解