歸納偏好(inductive bias):機器學習演算法在學習過程中對某種型別假設的偏好。
奧卡姆剃刀(occam's razor):若有多個假設與觀察一致，則選最簡單的那乙個。
「沒有免費的午餐」定理(no free lunch theorem 簡稱nfl定理)
如上篇文章所講的，當版本空間或者說模型形成之後，模型中往往存在多個不同的但都符合訓練集的假設，然而當面臨新的樣本時，選擇不同的假設，卻會產生不同的結果。然而我們不能隨機選擇假設來處理新樣本，否則對於相同的樣本，有時輸出1有時輸出0，而且各自出現的概率是隨機的，這顯然是沒有意義的。這時，我們就需要對模型設定某周偏向，即歸納偏好，如偏向「盡可能特殊」或是「盡可能一般」的假設。
如書中所說的，這種歸納偏好的設定，可以看成是在這個樣本空間中，對於假設的一種「價值觀取向」。進而產生乙個問題，有沒有乙個普適的價值觀來確定這種偏向呢？奧卡姆剃刀就是其中之一，我猜大概是因為他比較簡單= =。。。
然而究竟選擇怎樣的偏好，以得出效果最好的模型，才是我們追求的問題。並不能因為某個偏好簡單就去選擇。就像是樣條插值，平滑度越好就一定越逼近原函式嗎，不見得。換言之，實際上在真實目標函式 f 均勻分布的假設下，總誤差與學習演算法是無關的，這一點的推導在書中有證明，這個部落格不太會輸入公式，所以此處略去了。證明中不太清楚的一點是，從第二步到第三步的推導，如果說|x|是樣本空間的模，為什麼累加的總個數會是2的|x|次方呢？？望看到的大佬解釋一下。
總而言之，無論怎樣的機器學習演算法，他們的期望都是相同的，這就是「沒有免費的午餐」定理。然而我們需要注意到的一點是，這個定理的乙個前提即 f 均勻分布，這一點往往是不能保證的，因為我們在面對乙個機器學習問題時，往往並非如此，而是只關注乙個特定情況下的特定問題，如書中所說的「鼓樓」和「新街口」的交通工具選擇問題。
所以其實並不能因為nfl定理而真的認為所有的機器學習演算法都一樣「好」，而應該說，不能糾結於問題的表面，要具體問題具體分析，就如書中所說：脫離具體問題，空談「審麼學習演算法更好」是毫無意義的，要談論演算法的優劣，必須要針對具體的學習問題。所以面對具體的問題，我們應選擇同時正確的歸納偏好和正確的學習演算法，做到匹配對應，才能得到想要的效果。
機器學習（歸納偏好）
歸納偏好 inductive bias 機器學習演算法在學習過程中對某種型別假設的偏好。例如 演算法喜歡盡可能特殊的模型，則會選擇 好瓜 色澤 根蒂 蜷縮 敲聲 渾濁 如果演算法盡可能一般的模型，則會選擇 好瓜 色澤 根蒂 蜷縮 敲聲 通俗來講 即在樣本空間中存在多種假設，演算法選擇某種模型假設的偏...
機器學習筆記 假設空間與歸納偏好
學習過程是乙個在所有假設組成的空間，即假設空間中進行搜尋的過程。搜尋目標是找到與訓練集 匹配 的假設。舉個例子 這裡要學習的目標是 好瓜 暫且假設 好瓜 可由色澤，根蒂，敲聲這三個因素完全確定。於是，我們學得的將是 好瓜是某種色澤，某種根蒂，某種敲聲的瓜 這樣的概念。圖1.1直觀地顯示出了這個西瓜問...
機器學習西瓜書 歸納偏好和沒有免費午餐定理
歸納偏好 機器學習演算法在學習過程中對某種型別假設的偏好，稱為 歸納偏好 或簡稱為 偏好 偏好的原則 奧卡姆剃刀 若有多個假設與觀察一致，則選擇最簡單的那個。沒有免費午餐定理 首先約定如下 樣本空間 chi 離散的 假設空間h eta h 離散的 l al a la 乙個訓練出的演算法 x xx 訓...