混合高斯模型

2021-12-29 21:44:50 字數 2035 閱讀 4435

實際應用中,場景中的光照分為緩慢變化(白天室外)或者突然變化(室內開關燈)。場景中可以有新的物體進來,也可以有舊的物體消失。為了適應這些變化,可以更新訓練集(增加新的樣本,丟棄舊的樣本)。選擇合適的時間週期t,並在時刻t時,有訓練資料集xt=x(t),...,x(t?t)。對於每個新的樣本,我們更新xt,並且重新計算p(x|xt,bg)。然而,在最近的一段觀測歷史資料中,可能會有屬於目標的畫素,這個概率用p(xt|xt,bg+fg)表示。我們使用包含m個成分的gmm:

μ 都是均值,σ 都是方差,有這個兩個引數,就可以唯一確定乙個高斯分布,有m個這樣的高斯分布組合。協方差矩陣是對角矩陣,和單位陣i有相同的維數。加權係數π非零,而且和為1。時刻t處,給定乙個新的樣本xt,遞迴更新方程如下:

其中,.這裡沒有使用上文提到的週期t,而是用常數α來描述指數衰減速度,用來限制舊資料的影響。α和t的關係是倒數關係。對於新樣本,最大的加權係數的成分,而且它是』close』,o(t)m置為1,其他都為0。這裡的』close』意思是,樣本距離某個成分特別接近,也就是某個成分到樣本的mahalanobis距離,比方說小於3個標準差。從第m個成分到樣本的方差的計算如下:。如果沒有接近的成分,就會產生乙個新的成分:。其中σ0 是某個初始化的方差值。如果到達了最大的成分數量,就丟棄加權係數最小的那個成分。

這個演算法實際上是乙個**聚類演算法。一般地,擾動的目標會用額外的聚類(加權係數比較小)表示。所以,背景模型就用前b個(按照權重從大到小排列)成分疊加來表示。

如果成分按照權重降序排列,b可以如下求得:

cf是資料屬於目標同時不影響背景模型的最大的那部分。例如,如果場景中新來了乙個目標,而且在一段時間靜止了,就可能會產生乙個新增的穩定聚類。由於舊的背景被擋住了,新聚類的權重πb+1會持續增加。如果物件靜止的時間足夠長,它的權重就可能超過cf,它就被當作背景了。從(4)式可以看出,物體靜止的時間至少大約是log(1?cf)/log(1?α)幀。例如,對於cf=0.1,α=0.001來說,物體需要靜止至少105幀才能被當作背景。

πm描述了資料屬於gmm中第m個成分的可能性。這個值可以認為是樣本資料來自第m個成分的概率,從這個角度上說,πm?s定義了乙個潛在的多項式分布。假定我們有t個資料樣本,其中的每乙個屬於gmm中的乙個成分。我們再假定,屬於第m個成分的樣本的數量為。式子中的om?s和上一節的定義相同。這個假定的多項式分布\nm?s給出了似然函式:,這些權重和為1。使用拉格朗日乘子法來最大化似然函式,,求解這個式子,得到:

如果把新樣本資料的影響固定下來,即把t固定為t,就得到(4)。這個固定影響的做法,意味著我們更多的相信新樣本資料,而舊的樣本資料的影響會以指數衰減的形式變得不那麼重要。

多項式分布的先驗知識,可以通過使用它的共軛先驗來表示,dirichlet先驗。係數\cm有乙個很好的物理意義。對於多項式分布,cm代表樣本中有多少屬於類別m的先驗判據(從最大後驗概率的角度)。在[中我們使用負的係數cm=?c。負的先驗概率表示,我們只接受存在足夠多判據的類別m。這種先驗和最小化訊息長度準則有關,後者是一種對給定資料尋找合適模型的方法[。同時求解極大似然和最大化後驗概率,有,其中,可以得到:

其中,重寫(11)得到:

是從(9)極大似然得到的估計值,同時引入由先驗帶來的偏置c/t,當t很大時,偏置會減小。如果小偏置也能接受的話,可以把偏置固定不變,為ct=c/t。這表示,偏置會保持不變,似乎是同時對t個樣本進行處理。(11)的遞迴表示式如下(固定偏置):

由於m一般不大,ct也不大,可以進一步近似為:

使用這個式子代替(4)(本文作者做的事情,就是這個)。每次更新後,需要歸一化以保證權重和為1。gmm從單一成分開始,第乙個高斯模型的均值是第乙個樣本的資料,後續的資料進來,就按照前面說的遞迴方法更新。dirichlet先驗如果是負值,就會抑制不被樣本資料支援的成分。這也保證了混合權重為正。對於給定的\alpha=1/t,至少c=0.01*t個樣本才能支撐乙個成分。c_t=0.01。

注意到(11)的遞迴形式有時候並不非常實用。我們可以選取較大的t來避免較小t導致的負更新,以及先驗影響的損失。這一點說明,固定先驗影響蠻重要的。

高斯混合模型

本文就高斯混合模型 gmm,gaussian mixture model 引數如何確立這個問題,詳細講解期望最大化 em,expectation maximization 演算法的實施過程。多維變數x服從高斯分布時,它的概率密度函式pdf為 x是維度為d的列向量,u是模型期望,是模型方差。在實際應用...

高斯混合模型

高斯混合模型 本文就高斯混合模型 gmm,gaussian mixture model 引數如何確立這個問題,詳細講解期望最大化 em,expectation maximization 演算法的實施過程。多維變數x服從高斯分布時,它的概率密度函式pdf為 x是維度為d的列向量,u是模型期望,是模型方...

高斯混合模型

本文就高斯混合模型 gmm,gaussian mixture model 引數如何確立這個問題,詳細講解期望最大化 em,expectation maximization 演算法的實施過程。多維變數x服從高斯分布時,它的概率密度函式pdf為 x是維度為d的列向量,u是模型期望,是模型方差。在實際應用...