樣本方差的無偏估計與(n 1)的由來

2022-03-13 23:25:02 字數 590 閱讀 2489

原文出處: 

在pca演算法中用到了方差,協方差矩陣,其中方差公式為,協方差矩陣公式為,當時不明白為什麼除的不是m,而是m-1,那麼想要知道為何,下面就是你想要的答案。

假設x為獨立同分布的一組隨機變數,總體為m,隨機抽取n個隨機變數構成乙個樣本,

和是總體的均值和方差, 是常數。

是對樣本的均值和方差,由於樣本是隨機抽取的,

也是隨機的。

這裡需要注意的是,由於樣本是隨機的,所以x1

,x2,x3...都是隨機的。上式中可以看出,樣本均值這個變數的期望就是總體的均值,因此可以說均值是無偏的。

接下來看樣本方差的均值:

根據方差公式,可以得到:

因此:這裡可以看出樣本方差的期望並不是無偏的,要無偏估計,應該再乘上乙個係數:

。n-1既為自由度,就是說,在乙個容量為n的樣本裡,當確定了n-1個變數以後,第n個變數就確定了,因為樣本均值是無偏的。

協方差除以m-1原理和方差一樣,因為方差為協方差的特殊情況。

這個知乎上的討論更加透徹:

樣本方差的無偏估計與(n 1)的由來

所謂總體引數估計量的無偏性指的是,基於不同的樣本,使用該估計量可算出多個估計值,但它們的平均值等於被估引數的真值。在某些場合下,無偏性的要求是有實際意義的。例如,假設在某廠商與某銷售商之間存在長期的供貨關係,則在對產品出廠質量檢驗方法的選擇上,採用隨機抽樣的方法來估計次品率就很公平。這是因為從長期來...

無偏估計與方差

在閱讀 the elements of statistical learning 第三章的時候,有乙個式子我沒有弄明白 設 y x beta epsilon 其中 epsilon 的均值為 0,方差為 sigma 2 再設 x 是 n times p 1 的矩陣 每條訓練樣本含常數項 1 那麼對 s...

徹底理解樣本方差為何除以n 1

設樣本均值為 很多人可能都會有疑問,為什麼要除以n 1,而不是n,但是翻閱資料,發現很多都是交代到,如果除以n,對樣本方差的估計不是無偏估計,比總體方差要小,要想是無偏估計就要調小分母,所以除以n 1,那麼問題來了,為什麼不是除以n 2 n 3等等。所以在這裡徹底總結一下,首先交代一下無偏估計。無偏...