统计学中的自由度 Degrees of freedom (statistics)

拾人牙慧：

• wiki：In statistics, the number of degrees of freedom is the number of values in the final calculation of a statistic that are free to vary.
• 简单说,n个样本，如果在某种条件下，样本均值是先定的 (fixed)，那么只剩 n-1 个样本的值是可以变化的。
• 统计学上的自由度是什么呢？其实就是我们在观察的随机变量取值的向量空间的维度。
• 本质上，自由度是做一个估计（推测）时，所拥有的独立信息（证据）的数量。

• 统计学中的average和mean是两种不同的概念。前者是基于一定数量的样本通过求平均值得出的summary statistics,是样本统计量(Sample statistics)的样本均值；后者是作为总体参数（Population parameter）的总体均值。后者求解往往需要先知道这个population服从于什么分布（离散型分布or连续型分布）。但现实生活当中我们无法从小样本中得知这个总体是服从什么分布的，只能用算数平均值来代替。这样一来,补充维慕的回答，当你知道样本总和（n*样本均值）时，只知道其中n-1个值就可以推出剩下的一个是多少了，也就是说只有一个是不自由的。

• degree of freedom是一个借用物理学的术语，不是一个很适合统计学的名词，毕竟把测度空间里的随机变量类比成物理空间里的constrained particles实在不是什么绝妙的思路。那么问题来了，统计推断中这个constraint又是从哪里来的呢？从预测值出发可以类似地定义出一套"degree of freedom"，我们也可以看出，其实这个“自由度”是模型的“自由度”。
• 物理上自由度和约束是对应存在的，有了约束就会少了相应的自由度。统计学里样本Xi每个都是独立的，于是在无任何约束的情况下，N个样本所具有的相应的自由度为N。统计学上我更倾向于把自由度理解为：对参数无偏估计时，所需要系统的自由度的个数，即该系统有多少自由度，就除以多少从而作为该参数的无偏估计量。以E(X)的估计量u为例，可以写作Xi求和再除以自由度N，因为在这个系统里Xi无约束条件，因此EX的无偏估计u可以这么写。

标签：statistics,自由度,freedom,样本,样本均值,统计学,Degrees
来源： https://blog.csdn.net/symoriaty/article/details/100178595