華電北風吹
天津大學認知計算與應用重點實驗室
日期：2015/12/11
高斯判別分析屬於生成模型，模型最終學習乙個特徵-類別的聯合概率。
0 多維正態分佈
確定乙個多維正態分佈只需要知道分布的均值向量μ∈
rn×1
和乙個協方差矩陣σ∈
rn×n
. 其概率密度函式如下： p(
x;μ,
σ)=1
(2π)
n/2|
σ|1/
2exp
(−12
(x−μ
)tς−
1(x−
μ))(0)
一、高斯判別分析
適用範圍：輸入特徵是連續
模型表述： y∼
bern
oull
i(ϕ)
(1-1) x
|y=0
∼n(μ
0,σ)
() x|
y=1∼
n(μ1
,σ)()
結合公式0可以將公式1-1寫為： p(
y)=ϕ
y(1−
ϕ)1−
y(1-2) p
(x|y
=0)=
1(2π
)n/2
|σ|1
/2ex
p(−1
2(x−
μ0)t
σ−1(
x−μ0
))() p(
x|y=
1)=1
(2π)
n/2|
σ|1/
2exp
(−12
(x−μ
1)tς
−1(x
−μ1)
)()可以看到對於二分類高斯判別分析，模型的引數是ϕ,
μ0,μ
1,σ ，注意到這裡的兩個n維正態分佈公用了乙個協方差矩陣。
對於m個輸入樣本，有 p(
x(i)
,y(i
);ϕ,
μ0,μ
1,σ)
=p(y
(i);
ϕ)p(
x(i)
|y(i
);μ,
σ)(1-3)
容易得到對數似然函式如下 l(
ϕ,μ0
,μ1,
σ)=log∏m
i=1p
(x(i
),y(
i);ϕ
,μ0,
μ1,σ
)(1-4)
求解似然函式最大化得到高斯判別分析的模型引數解形式如下： ϕ=
1m∑m
i=11
(1-5) μ
0=∑m
i=11
x(i)
∑mi=
11() μ1
=∑mi
=11x
(i)∑
mi=1
1() σ
=1m∑
mi=1
(x(i
)−μy
(i))
(x(i
)−μy
(i))
t()
二、高斯判別分析與邏輯回歸
可以容易寫出高斯判別分析的**函式。由於是生成模型，模型存在兩種輸出p(
y=1|
x；ϕ,
μ0,μ
1,σ)
和p(y
=0|x
；ϕ,μ
0,μ1
,σ) 。在這裡重點關注第乙個。 p(
y=1|
x；ϕ,
μ0,μ
1,σ)
=p(y
=1|x
)p(y
=1|x
)+p(
y=0|
x)(2-1)
經過變換，分解組合等變換操作可以得到如下形式： p(
y=1|
x；ϕ,
μ0,μ
1,σ)
=11+
e−θt
x(2-2)
注：分子分母同除以分子，消除同類項，係數轉化為指數上的指數，矩陣展開相減消除等簡單操作即可得到。
雖然可以得到類似的格式，但是高斯判別分析與邏輯回歸仍然存在很大區別：
1、模型性質：高斯判別分析屬於生成模型，邏輯回歸屬於判別模型
2、p(y=1|x)和p(y=0|x)在邏輯回歸中和為1，在高斯判別分析中不存在這個性質。
3、模型假設：高斯判別分析假設樣本特徵在每個類別下分別服從於各異的高維正態分佈，邏輯回歸是類別標籤滿足伯努利分布假設下的廣義線性模型。
ML 高斯判別分析
華電北風吹 天津大學認知計算與應用重點實驗室 日期 2015 12 11 高斯判別分析屬於生成模型，模型終於學習乙個特徵 類別的聯合概率。0 多維正態分佈 確定乙個多維正態分佈僅僅須要知道分布的均值向量 rn 1 和乙個協方差矩陣 rn n 其概率密度函式例如以下 p x 1 2 n 2 1 2ex...
高斯判別分析
1 多值正態分佈 多變數正態分佈描述的是n 維隨機變數的分布情況，這裡的 變成了向量，也變成了矩陣 寫作n 假設有n 個隨機變數x1 x2,xn。的第i 個分量是e x 而 ii var xi ij cov xi,xj 概率密度函式如下 其中 是 的行列式，是協方差矩陣，而且是對稱半正定的。當 是二...
高斯判別分析模型
對於常見的分類演算法，經常用到的都是判別學習演算法，如 logistic二元分類器，還有softmax分類器等。它們都有乙個共同的特點，那就是我們直接去求 p y x 有時候也表示為 h x 這類方法的重點是去擬合引數 還有一種演算法 生成學習演算法。它的中心思想是直接去求p y x 很難,然後轉而...