常用的方差(variance)、标准偏差(standard derivation)的内涵和计算方法有许多容易混淆之处，本文进行梳理。

统计量的定义

对于随机变量

对于随机变量X$X$，我们用期望定义了其统计量。这些统计量都是固定的常数。 均值： μ=E[X] $$/mu = E/left[X/right]$$

方差： var=σ2=E[(X−μ)2]=E[X2]−μ2 $$var=/sigma^2=E/left[ (X-/mu /right)^2]=E/left[X^2/right]-/mu^2$$

标准偏差就是方差的平方根： std=σ $$std=/sigma$$

对于已知样本集

如果全体样本集（polulation）的每一个样本x1,x2...xN$x_1,x_2...x_N$都能直接使用，可以直接计算出该样本集的各种统计量。 μ=1N∑ixi $$/mu = /frac{1}{N}/sum_ix_i$$

var=1N∑i(xi−μ)2 $$var=/frac{1}{N}/sum_i(x_i-/mu)^2$$

std=var−−−√ $$std=/sqrt{var}$$

这样计算得到的方差常被称为全体方差(population variance)。

统计量的估计

有时候无法得知统计量的实际值： - 对于随机变量，无法观测产生这个变量的参数，只能得到一系列随机的采样； - 对于数量巨大、甚至无穷多的样本集，我们无法使用全部样本进行计算，只能随机有放回地抽取一部分采样。

由于两种情况都包含有随机性，所以估计得到的统计量本身也是个随机变量，并非真实值。用上横线以示区分。

估计可以有不同方法，各有不同性质。

复习一下期望的性质。 E(A+B)=EA+EB$E(A+B)=EA+EB$, E(AB)≠EA⋅EB$E(AB)/neq EA /cdot EB$, 换言之：期望和线性运算可交换。

均值

对均值的估计直观而统一： μ¯=1N∑ixi $$/bar{/mu} = /frac{1}{N}/sum_ix_i$$

这个估计是无偏的（估计的期望等于真实值）： E[μ¯]=1N∑iE[xi]=E[X]=μ $$E/left[/bar{/mu}/right]=/frac{1}{N}/sum_iE/left[x_i/right]=E/left[X/right]=/mu$$

方差

方差涉及到二次项，情况复杂一些。

有偏方差

var¯=1N∑i(xi−μ¯)2 $$/bar{var}=/frac{1}{N}/sum_i(x_i-/bar{/mu})^2$$ 这个估计是有偏的。

证明提示：把μ¯$/bar{/mu}$写成xi$x_i$的求和形式。利用以下两个性质： E[x2i]=σ2+μ2$E/left[x_i^2/right]=/sigma^2+/mu^2$ E[xixj]=E[xi]E[xj]=μ2$E/left[x_i x_j/right]=E/left[x_i/right]E/left[x_j/right]=/mu^2$

具体推导引自wiki：

这样的估计方差总是小于真实方差。 估计方差和真实方差之间差距为1Nσ2$/frac{1}{N}/sigma^2$，采样越多，偏差越小。

换句话说，总有你想不到的幺蛾；见识越少，幺蛾越大。

不过，如果随机变量/样本集的均值已知，则类似的方差估计是无偏的： var¯=1N∑i(xi−μ)2 $$/bar{var}=/frac{1}{N}/sum_i(x_i-/mu)^2$$

证明提示：μ$/mu$是常数，可以直接和期望交换。

无偏方差

对有偏方差进行矫正： var¯=1N−1∑i(xi−μ¯)2 $$/bar{var}=/frac{1}{N-1}/sum_i(x_i-/bar{/mu})^2$$

标准偏差

标准偏差的问题更为复杂。从定义上来说std¯=var¯−−−√$/bar{std}=/sqrt{/bar{var}}$。但由于开根号不是线性运算，不能和期望交换。

无矫正(uncorrected)标准偏差

喜闻乐见的直观形式： std¯=1N∑i(xi−μ¯)2−−−−−−−−−−−−√ $$/bar{std}=/sqrt{/frac{1}{N}/sum_i(x_i-/bar{/mu})^2}$$

这个估计当然是有偏的（比真实值小），不过是一致的(consistent，随着N增大依概率收敛到真值)。

矫正(corrected)标准偏差

通过对无偏方差开根号得来： std¯=1N−1∑i(xi−μ¯)2−−−−−−−−−−−−−−−√ $$/bar{std}=/sqrt{/frac{1}{N-1}/sum_i(x_i-/bar{/mu})^2}$$

需要注意的是，由于平方根不能和期望交换，这个估计依然是有偏的，不过比前一个估计好一些。

考察这个估计的期望： E[std¯]=E[var¯−−−√] $$E/left[/bar{std}/right]=E/left[/sqrt{/bar{var}}/right]$$ 再考虑交换运算的式子： E[var¯]−−−−−−√=var−−−√=std $$/sqrt{E/left[ /bar{var} /right]}=/sqrt{var}=std$$ 由于期望是线性运算，开根号是凹函数，根据延森不等式： E[std¯]=E[var¯−−−√]<E[var¯]−−−−−−√=var−−−√=std $$E/left[/bar{std}/right]=E/left[/sqrt{/bar{var}}/right]</sqrt{E/left[ /bar{var} /right]}=/sqrt{var}=std$$

这个估计仍然比真实的标准偏差小。具体小多少，要依数据分布而定。

无偏标准偏差

不同随机变量的无偏标准偏差估计具有不同形式，具体参看这里。 一个近似的估计是将前一方法中的分母N−1$N-1$增大为N−1.5$N-1.5$： std¯=1N−1.5∑i(xi−μ¯)2−−−−−−−−−−−−−−−−−√ $$/bar{std}=/sqrt{/frac{1}{N-1.5}/sum_i(x_i-/bar{/mu})^2}$$