稀疏學習綜述

2021-08-03 19:47:36 字數 1122 閱讀 5131

稀疏學習是近年來機器學習和模式識別領域的乙個研究熱點,在本文中,我們給出了稀疏學習綜述。稀疏學習已經應用到機器學習和模式識別的很多子領域,包括分類、聚類和子空間學習等,本文側重在結構化稀疏學習在特徵選擇方法中的應用

。特徵選擇,是許多模式識別任務中乙個重要的成分。在這些任務中,人經常面臨高維資料。特徵選擇演算法是用來從原始的特徵子集中選擇相關的特徵子集,這樣有利隨後的分析比如分類和聚類。在最近一些年來,基於結構化稀疏的特徵選擇演算法被廣泛地研究,已經有大量演算法被提出。然而,關於這些結構化稀疏的特徵選擇演算法之間的聯絡以及他們是如何演化的,沒有得到系統的研究。我們系統總結了基於結構化稀疏的特徵選擇方法,包括它們的研究動機和數學表達。我們**了不同方法之間的關係,提出乙個分類方法來闡明它們的演變。我們將已有的結構化稀疏的特徵選擇方法分成兩類:基於向量的特徵選擇(基於lasso的特徵選擇)和基於矩陣的特徵選擇(基於矩陣的r,p範數的特徵選擇)。而且,為了特定的應用,特徵選擇已經和其他機器學習方法融合在一起,比如多工學習、多標記學習、多檢視學習、分類和聚類等。我們不僅基於回歸和正則化策略比較了這些方法的區別和聯絡,而且對工作在相關領域的從業者提供了有用的指導,指導他們如何來做特徵選擇。所有的方法都總結在以下的圖中。

圖1. 

基於結構化稀疏的特徵選擇的分類

從壓縮感知的提出到現在已經十幾年過去了,這十幾年裡,關於稀疏學習有很多深入有趣的研究。本文對稀疏學習進行了系統全面的總結,相信該文既能對初涉稀疏學習領域的科研人員起到很好的入門作用,又能增進相關科研人員對稀疏學習的全面和深入的了解。

該文是ieee transactions on neural networks and learning systems (tnnls)的第七期的首篇**,相關**在

j. gui, z. sun, s.ji, d. tao, and t. tan, 「feature selection based on structured sparsity: acomprehensive study」, ieee transactions on neural networks and learning systems(tnnls), vol. 28, no. 7, pp. 1490-1507, 2017.

機器學習綜述

機器學習 machine learning,ml 是一門多領域交叉學科,涉及概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為,以獲取新的知識或技能,重新組織已有的知識結構使之不斷改善自身的效能。基本目標是學習乙個x y的函式 對映 來做分類或者回...

Qt學習綜述

本文 特此宣告。如有錯誤請告知 windows 7 旗艦版 qt creator 3.4.1 opensource qt opensource windows x86 msvc2013 opengl 5.4.2.exe 傻瓜安裝 windows下編譯 保證下列工具被安裝 perl version 5...

機器學習綜述

監督學習 無監督學習 強化學習 遷移學習 演算法 線性回歸 k 近鄰演算法 決策樹 隨機森林 pca 神經網路 將標註好的和測試的樣本對映到座標系中,選取距離該測試樣本歐式距離最近的k個訓練樣本,其中哪個訓練樣本佔比最大,我們就認為它是該測試樣本所屬類別。knn可以處理數值型和標稱型資料,原因在於計...