這個人的文章很有借鑑意義，記錄以下位址。
在做人臉識別的時候經常與協方差矩陣打交道，但一直也只是知道其形式，而對其意義卻比較模糊，現在我根據單變數的協方差給出協方差矩陣的詳細推導以及在不同應用背景下的不同形式。
變數說明：設其中
單隨機變數間的協方差：
隨機變數
根據已知的樣本值可以得到協方差的估計值如下：
可以進一步地簡化為：
協方差矩陣：
其中如果所有樣本的均值為乙個零向量，則式（5）可以表達成：
補充說明：
1、協方差矩陣中的每乙個元素是表示的隨機向量x的不同分量之間的協方差，而不是不同樣本之間的協方差，如元素cij就是反映的隨機變數xi, xj的協方差。
2、協方差是反映的變數之間的二階統計特性，如果隨機向量的不同分量之間的相關性很小，則所得的協方差矩陣幾乎是乙個對角矩陣。對於一些特殊的應用場合，為了使隨機向量的長度較小，可以採用主成分分析的方法，使變換之後的變數的協方差矩陣完全是乙個對角矩陣，之後就可以捨棄一些能量較小的分量了（對角線上的元素反映的是方差，也就是交流能量）。特別是在模式識別領域，當模式向量的維數過高時會影響識別系統的泛化效能，經常需要做這樣的處理。
3、必須注意的是，這裡所得到的式（5）和式（6）給出的只是隨機向量協方差矩陣真實值的乙個估計（即由所測的樣本的值來表示的，隨著樣本取值的不同會發生變化），故而所得的協方差矩陣是依賴於取樣樣本的，並且樣本的數目越多，樣本在總體中的覆蓋面越廣，則所得的協方差矩陣越可靠。
4、如同協方差和相關係數的關係一樣，我們有時為了能夠更直觀地知道隨機向量的不同分量之間的相關性究竟有多大，還會引入相關係數矩陣。
協方差 協方差矩陣
期望 離散型隨機變數的一切可能的取值xi與對應的概率pi xi 之積的和稱為該離散型隨機變數的數學期望 設級數絕對收斂 記為 e x 隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。求法 設離散型隨機變數x的取值為 方差 方差是各個資料與平均數之差的平方的平均數。在概率論...
期望 方差 協方差 協方差矩陣
方差pearson相關係數 協方差矩陣與相關係數矩陣 我們將隨機實驗e的一切可能基本結果 或實驗過程如取法或分配法 組成的集合稱為e的樣本空間，記為s。樣本空間的元素，即e的每乙個可能的結果，稱為樣本點。這樣思考一下，如果某個資料集x xx滿足它是某個分布的隨機取樣，那麼在取樣過程中最可能出現的值是...
協方差和協方差矩陣
協方差的定義 對於一般的分布，直接代入e x 之類的就可以計算出來了，但真給你乙個具體數值的分布，要計算協方差矩陣，根據這個公式來計算，還真不容易反應過來。網上值得參考的資料也不多，這裡用乙個例子說明協方差矩陣是怎麼計算出來的吧。記住，x y是乙個列向量，它表示了每種情況下每個樣本可能出現的數。比如...