特徵選擇的方法

特徵選擇的方法大致可分為如下幾類：

1. 投影法：求出最優的投影向量w，絕對值較大的分量對應的特徵即所選特徵。求解w的方法很多，像lda，linear svm，lasso regression，sparse coding等都是適用的方法。

3. filter：對單個特徵根據特定準則進行排序（如熵增益，分類錯誤率等），再選出其中排序較高、且、且互補性較強的構成特徵子集。

4. 混合型：先用filter濾除候選特徵，再用其它方法從中進行篩選。

針對2，3，4方法，可以用順序前向/後向方法（sequential forward/backward search）進行特徵子集挑選。

特徵獲取過程特徵獲取定義的角度特徵獲取要解決的兩個問題啟發式方法為一種近似演算法，具有很強的主觀傾向。隨機方法是一種相對較新的方法，細分為完全隨機方法和概率隨機方法兩種。總的說來，上述三類中只有窮舉法能保證最優，但耗時並且計算複雜度很高，後兩者以效能為代價換取簡單快速的實現，但不能保證最優。...