今天在看最優化基礎的時候，看到乙個協方差的使用，但是映像卻不是很清晰，特寫一篇博文記錄協方差。
說到協方差，那我們還是從方差開始看起。方差、標準差以及協方差都是用來衡量樣本資料的變化情況的。不同的是方差和標準差只能衡量一組資料的變化情況，協方差可以衡量兩組資料之間的變化情況。那我們先來看方差：
方差是樣本各資料與均值（數學期望）之差的平方的平均數，反映的是樣本與其均值的偏離程度。
方差的開方即為標準差
協方差反映的是兩組資料之間的相關性，其公式如下：
c ov
(x,y
)=e[
(x−e
[x])
∗(y−
e[y]
)]
cov(x, y) = e[(x - e[x])*(y - e[y])]
cov(x,
y)=e
[(x−
e[x]
)∗(y
−e[y
])]
協方差表示有兩個變數x,y，每個 x,y 分別與其均值的差相乘所得值的數學期望（平均值）。
因此，方差可以看成是協方差 x,y 相等的情況。
協方差變化情況：x
ycov(x, y)大小
負小大負
大大正小
小正可以看出當 x 和 y 同時增大或減小時，協方差為正，當 x 和 y 乙個增大，乙個減小時，協方差為負。這可以反映變數 x 和 y 之間的相關性。
方差 標準差 協方差理解與區別
1 方差 用來度量隨機變數和其數學期望 即均值 之間的偏離程度。計算 各個資料與平均數之差的平方的平均數 2 標準差 能反映乙個資料集的離散程度。計算 方差開根號 3 協方差 用於衡量兩個變數的總體誤差。而方差是協方差的一種特殊情況，即當兩個變數是相同的情況。變化分析 1 如果兩個變數的變化趨勢一致...
方差 標準差 協方差 相關係數
方差 在統計描述中，方差用來計算每乙個變數 觀察值 與總體均數之間的差異。為避免出現離均差總和為零，離均差平方和受樣本含量的影響，統計學採用平均離均差平方和來描述變數的變異程度。總體方差計算公式 實際工作中，總體均數難以得到時，應用樣本統計量代替總體引數，經校正後，樣本方差計算公式 s 2 x 2 ...
均值，方差，標準差
對於一維資料的分析，最常見的就是計算平均值 mean 方差 variance 和標準差 standard deviation 在做 特徵工程 的時候，會出現缺失值，那麼經常會用到使用 平均值 或者 中位數等進行填充。平均值平均值的概念很簡單 所有資料之和除以資料點的個數，以此表示資料集的平均大小 其...