RX異常點檢測演算法(馬氏距離)

2021-09-26 09:29:24 字數 1342 閱讀 9862

異常檢測演算法目的在於從影像中將目標資訊(異常資訊)從影響背景和雜訊中分離出來。rx異常檢測演算法為一種區域性目標檢測演算法,演算法的監測視窗包括目標視窗和背景視窗,且後者遠大於前者。rx演算法假設資料空間白化且服從高斯分布,在此基礎上通過分析視窗的統計量(均值和方差),並與設定的閾值比較判斷是否為異常值。

設高光譜影象資料波段數為p,則包含n個畫素點的背景資料可以表示為乙個p*m的矩陣xb=[x1,x2,…,xm],其中

xi=[x1i,x2i,…,xpi]t,表示每乙個畫素點的光譜,設h0為目標不存在,h1為目標存在:

上式中x為待檢測點的向量,n表示背景雜訊向量,s為目標光譜向量。rx演算法的表示式為:

其中r為待檢測畫素的光譜,

from:

from:

用來度量乙個樣本點p與資料分布為d的集合的距離。 假設n維樣本點為: 

資料集分布的均值為:

協方差矩陣為s。則這個樣本點p與資料集合的馬氏距離為:

馬氏距離也可以衡量兩個來自同一分布的樣本x和y的相似性:

當樣本集合的協方差矩陣是單位矩陣時,即樣本的各個維度上的方差均為1.馬氏距離就等於歐式距離相等。 當協方差矩陣是對角矩陣時,即樣本資料在各個維度上的方差可能不為1,此時, 

可以看做是標準化了的歐氏距離。其中,si為樣本資料在第i個維度上的標準差。  標準差為方差的算術平方根

在rx檢測中,假定內外框是服從統一分布,內框的均值作為待檢測量x,外框的均值作為該分布的均值,方差通過外框的資料進行求得

1.為什麼馬氏距離是尺度無關的?

假設乙個樣本集合的維度是n,資料在各個維度上的方差已知(方差較大的方向是資料主要的變化方向),可以把方差看做各個方向上的軸長,方差越大,軸越長,資料點在這個方向上就越不容易掉下懸崖,也就越安全。如果待測樣本在各個維度上與集合中心的距離都遠遠小於這個維度上的軸長,那麼這個樣本屬於集合的概率就越大。協方差矩陣的對角線元素就代表了各個維度上的方差。

再次看上式,可以認為,對每乙個待測樣本,都計算一下其與集合中心的距離,接著,在各個方向上均除以軸長(協方差矩陣求逆),最後再乘起來,整個結果越小則說明樣本越靠近集合的中心。

from :

馬氏距離與異常點檢測

馬氏距離的定義相關資料太多了,我這裡直接截圖維基百科上的定義。馬氏距離具有以下特點 馬氏距離與歐氏距離的主要區別點在於 上面的內容,很多部落格也總結過了。其實看完後對馬氏距離並沒有乙個很直觀的認識。這裡總結一下馬氏距離的意義和解釋為什麼馬氏距離比歐式距離更好的檢測異常點。這裡的內容主要總結自如何理解...

異常點檢測演算法

異常點檢測演算法 對於train data 中的資料,對其中重要的特徵 或者每個特徵 x1,x2,xn,計算其高斯分布 對new data,計算 x 每個特徵 在訓練資料分布下的 p 值並相乘,若p x 小於某個臨界值,則判斷其為異常點 什麼時候選擇使用 p x 根據分布概率來判斷異常點,什麼時候使...

異常點 離群點檢測演算法 LOF

在資料探勘方面,經常需要在做特徵工程和模型訓練之前對資料進行清洗,剔除無效資料和異常資料。異常檢測也是資料探勘的乙個方向,用於反作弊 偽基站 金融詐騙等領域。異常檢測方法,針對不同的資料形式,有不同的實現方法。常用的有基於分布的方法,在上 下 分位點之外的值認為是異常值 例如圖1 對於屬性值常用此類...