周志華《機器學習》 學習筆記
最近開始學習機器學習，參考書籍西瓜書，做點筆記。
第十一章 特徵選擇與稀疏學習
11.1 子集搜尋與評價
無關特徵：與訓練任務無關的特徵；冗餘特徵：包含的資訊能從其他特徵中推演出來；
子集搜尋：前向、後向、雙向；
子集評價：計算子集增益
資訊增益越大意味著特徵自己包含的有助於分類的資訊越多；
常見特徵分類方法：過濾式、包裹式、嵌入式；
11.2 過濾式選擇
對資料及進行特徵選擇，然後再訓練學習器，特徵選擇過程與學習器學習過程無關；
relief用於二分類問題，變體relief-f能解決多分類問題；
pl為第l類樣本在資料集d中所佔比例；
11.3 包裹式選擇
包裹式特徵選擇直接把最終要使用的學習器的效能作為特徵子集的評價準則；
拉斯維加斯方法：可能給出解也可能不給出解；
蒙特卡羅方法：一定會給出解；
11.4 嵌入式選擇與l1正則化
嵌入式特徵選擇：在學習器訓練過程中自動的進行了特徵選擇；
l2範數：傾向於分量取值盡量均衡，即非零分量個數盡量稠密；
l0、l1範數：傾向於分量取值稀疏，即非零分量個數盡量少；
l1範數和l2範數正則化都能有助於降低過擬合風險，但是l1範數更易於獲得稀疏解；
11.5 稀疏表示與字典學習
當樣本資料是乙個稀疏矩陣時，對學習任務來說會有不少的好處，例如很多問題變得線性可分，儲存更為高效等。這便是稀疏表示與字典學習的基本出發點。稀疏矩陣即矩陣的每一行/列中都包含了大量的零元素，且這些零元素沒有出現在同一行/列，對於乙個給定的稠密矩陣，若我們能通過某種方法找到其合適的稀疏表示，則可以使得學習任務更加簡單高效，我們稱之為稀疏編碼（sparse coding）或字典學習；
其中b為字典矩陣，式中第一項希望能很好的重構x，第二項希望ai盡量稀疏；
11.6 壓縮感知
目的：根據部分資訊恢復全部資訊；
壓縮感知兩個階段：感知測量、重構恢復；
感知測量：對原始訊號進行處理獲得稀疏樣本；
重構恢復：基於稀疏性從少量觀測復原訊號；
限定等距性：
矩陣補全：
第十一章特徵選擇與稀疏學習，本章書上介紹比較簡單，也有很多理解不是很到位，其中每一塊深入都有很深的學問在裡面，在以後的應用學習中將加深對這一章介紹內容的理解，在學習的時候頭腦裡還是需要有乙個大概的模型或者圖才能更好的理解。
我的筆記做的比較粗糙，還請見諒。
有不正確或者不完整的地方，歡迎補充。
python 學習筆記 day11 裝飾器
現在有乙個需求，我們想計算一段程式執行的時間，可以採用time模組的time函式 def func print 哈哈哈哈 func 我們可以這樣做 import time deffunc start time.time 函式體內 執行開始的時間 time.sleep 0.02 因為這個程式太簡單，執...
MATLAB學習打卡Day11
書寫格式 plot3 x,y,z x,y,z為同維的向量或矩陣，有關線的規範的設定與二維的線性圖完全相同。書寫格式 bar3 y bar3 x,y bar3 width bar3 y 繪製向量y的每乙個元素的條形圖，立體條形的幅值代表元素值，條形圖的下標為向量y的序列。若y為矩陣，則產生代表矩陣每一...
100天搞定機器學習 Day11 實現KNN
機器學習100天 day1資料預處理 100天搞定機器學習 day2簡單線性回歸分析 100天搞定機器學習 day3多元線性回歸 100天搞定機器學習 day4 6 邏輯回歸 100天搞定機器學習 day7 k nn 100天搞定機器學習 day8 邏輯回歸的數學原理 100天搞定機器學習 day9...