統計學裡最基本的概念就是樣本的均值、方差、標準差。首先，我們給定乙個含有n個樣本的集合，下面給出這些概念的公式描述：
均值：標準差：
方差：均值描述的是樣本集合的中間點，它告訴我們的資訊是有限的，而標準差給我們描述的是樣本集合的各個樣本點到均值的距離之平均。
以這兩個集合為例，[0, 8, 12, 20]和[8, 9, 11, 12]，兩個集合的均值都是10，但顯然兩個集合的差別是很大的，計算兩者的標準差，前者是8.3後者是1.8，顯然後者較為集中，故其標準差小一些，標準差描述的就是這種「散布度」。之所以除以n-1而不是n，是因為這樣能使我們以較小的樣本集更好地逼近總體的標準差，即統計上所謂的「無偏估計」。而方差則僅僅是標準差的平方。
來度量各個維度偏離其均值的程度，協方差可以這樣來定義：
協方差的結果有什麼意義呢？如果結果為正值，則說明兩者是正相關的（從協方差可以引出「相關係數」的定義），也就是說乙個人越猥瑣越受女孩歡迎。如果結果為負值， 就說明兩者是負相關，越猥瑣女孩子越討厭。如果為0，則兩者之間沒有關係，猥瑣不猥瑣和女孩子喜不喜歡之間沒有關聯，就是統計上說的「相互獨立」。
從協方差的定義上我們也可以看出一些顯而易見的性質，如：
前面提到的猥瑣和受歡迎的問題是典型的二維問題，而協方差也只能處理二維問題，那維數多了自然就需要計算多個協方差，比如n維的資料集就需要計算
個協方差，那自然而然我們會想到使用矩陣來組織這些資料。給出協方差矩陣的定義：
這個定義還是很容易理解的，我們可以舉乙個三維的例子，假設資料集有三個維度，則協方差矩陣為：
可見，協方差矩陣是乙個對稱的矩陣，而且對角線是各個維度的方差。
必須要明確一點，協方差矩陣計算的是不同維度之間的協方差，而不是不同樣本之間的。以下的演示將使用matlab，為了說明計算原理，不直接呼叫matlab的cov函式：
首先，隨機生成乙個10*3維的整數矩陣作為樣本集，10為樣本的個數，3為樣本的維數。
圖 1 使用matlab生成樣本集
根據公式，計算協方差需要計算均值，前面特別強調了，協方差矩陣是計算不同維度之間的協方差，要時刻牢記這一點。樣本矩陣的每行是乙個樣本，每列是乙個維度，因此我們要按列計算均值。為了描述方便，我們先將三個維度的資料分別賦值：
圖 2 將三個維度的資料分別賦值
計算dim1與dim2，dim1與dim3，dim2與dim3的協方差：
圖 3 計算三個協方差
協方差矩陣的對角線上的元素就是各個維度的方差，下面我們依次計算這些方差：
圖 4 計算對角線上的方差
這樣，我們就得到了計算協方差矩陣所需要的所有資料，可以呼叫matlab的cov函式直接得到協方差矩陣：
圖 5 使用matlab的cov函式直接計算樣本的協方差矩陣
計算的結果，和之前的資料填入矩陣後的結果完全相同。
理解協方差矩陣的關鍵在於牢記：它計算的是不同維度間的協方差，而不是樣本間的協方差。拿到乙個樣本矩陣，最先要明確的就是一行是乙個樣本還是乙個維度。
p.s.寫**要選latex，在wordpress裡編輯公式還得用latex，在jekyll上可以使用mathax。
協方差 協方差矩陣
期望 離散型隨機變數的一切可能的取值xi與對應的概率pi xi 之積的和稱為該離散型隨機變數的數學期望 設級數絕對收斂 記為 e x 隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。求法 設離散型隨機變數x的取值為 方差 方差是各個資料與平均數之差的平方的平均數。在概率論...
期望 方差 協方差 協方差矩陣
方差pearson相關係數 協方差矩陣與相關係數矩陣 我們將隨機實驗e的一切可能基本結果 或實驗過程如取法或分配法 組成的集合稱為e的樣本空間，記為s。樣本空間的元素，即e的每乙個可能的結果，稱為樣本點。這樣思考一下，如果某個資料集x xx滿足它是某個分布的隨機取樣，那麼在取樣過程中最可能出現的值是...
協方差和協方差矩陣
協方差的定義 對於一般的分布，直接代入e x 之類的就可以計算出來了，但真給你乙個具體數值的分布，要計算協方差矩陣，根據這個公式來計算，還真不容易反應過來。網上值得參考的資料也不多，這裡用乙個例子說明協方差矩陣是怎麼計算出來的吧。記住，x y是乙個列向量，它表示了每種情況下每個樣本可能出現的數。比如...