特徵選擇演算法之 ReliefF 演算法

2021-09-03 09:57:24 字數 455 閱讀 9079

**:

relieff演算法是relief演算法的擴充套件, relief演算法只適用於兩類樣本的問題, relieff演算法可以應用到多個樣本上。

relieff演算法步驟如下:

現有不同類別的樣本若干, 對每類樣本稱作 xn。

1. 從所有樣本中,隨機取出乙個樣本a。

2. 在與樣本a相同分類的樣本組內,取出k個最近鄰樣本。

3. 在所有其他與樣本a不同分類的樣本組內, 也分別取出k個最近鄰樣本。

4. 計算每個特徵的權重。

對於每個特徵的權重有:

其中, p(c) 為該類別的比例。 p(class(r)) 為隨機選取的某樣本的類別的比例。

可以看到,權重意義在於, 減去相同分類的該特徵差值, 加上不同分類的該特徵的差值。(若該特徵與分類有關,則相同分類的該特徵的值應該相似, 而不同分類的值應該不相似)

最後可以根據權重排序,得到合適的特徵。

特徵選擇演算法之 ReliefF 演算法

relieff演算法是relief演算法的擴充套件,relief演算法只適用於兩類樣本的問題,relieff演算法可以應用到多個樣本上。relieff演算法步驟如下 現有不同類別的樣本若干,對每類樣本稱作 xn。1.從所有樣本中,隨機取出乙個樣本a。2.在與樣本a相同分類的樣本組內,取出k個最近鄰樣...

特徵選擇演算法之 chisquare 演算法

chisquare特徵選擇演算法 通過計算各個特徵的卡方值,進行排序後得到。每個特徵的卡方值計算應如下 x 2 ya yb 2 yb 其中,ya是每個樣本中,ya的實際值,而yb為理想值,即假設無關成立時,理想的值。由於假設該特徵與目標特徵無關,則應當在該特徵的範圍上,目標特徵值均勻分布。例如 假設...

特徵選擇之 FCBF演算法

具體詳述可見,提出該演算法的 feature selection for high dimensional data a fast correlation based filter solution fcbf演算法 全稱 fast correlation basd filter solution,是...