一、奧卡姆剃刀（occam』s razor）
奧卡姆剃刀原則主張選擇與經驗觀察一致的最簡單假設，是一種常用的、自然科學研究中最基本的原則，即「若有多個假設與觀察一直，則選最簡單的那個」。
舉個例子。假如有一些連續點，可以用二次或更複雜的函式擬合，那麼就用二次函式來擬合。
問題是，怎麼判斷，哪乙個假設更「簡單」？ 這就要用其他機制來來解決了，這個問題也一直困擾者研究者們，因此，對奧卡姆剃刀在機器學習領域的作用，一直存在爭議。
二、沒有免費的午餐（no free lunch theorem - 簡稱nlf定理）
通過奧卡姆剃刀，我們確定了選擇更簡單的假設a作為學習演算法，但是由於訓練集外的資料樣本並不一定符合a，所以a不一定比另乙個演算法b更好。
從而引伸出，如果簡單的學習演算法a，它在某些問題上比演算法b好，則必然存在另一些問題，b比a的效能要好。
有趣的是，經過數學證明（有興趣可自行查閱），這個結論對任何演算法都成立。
也就是說，無論學習演算法a有多聰明，b有多笨拙，他們的期望效能是相同的。這就是nlf定理。
幸運的是，這有乙個前提，就是所有問題出現的機會相同，或者所有問題同樣重要，才會效能相同。
然而實際情形並不是這樣。我們一般要解決的問題都是某個具體任務，不管這個解決方案在其他問題上的效能。
所以nlf定理，讓我們清楚認識到，脫離具體問題談論什麼「學習演算法更好」是毫無意義的，乙個演算法無法在所有問題上都表現良好。
機器學習 「奧卡姆剃刀」原理
百科 切勿浪費較多東西去做，用較少的東西，同樣可以做好的事情。簡 單 性 原 則 1 在機器學習中選擇演算法時，其含義是 在其他條件一樣的情況下，選擇簡單的那個。2 李航 統計學方法 一書中，在應用於模型選擇時可以理解為 在所有可能選擇的模型中，能夠很好地解釋已知資料並且十分簡單才是最好的模型，也就...
機器學習的奧卡姆剃刀原理
奧卡姆剃刀定律 occam s razor,ockham s razor 又稱 奧康的剃刀 它是由14世紀英格蘭的邏輯學家 聖方濟各會修士奧卡姆的威廉 william of occam，約1285年至1349年 提出。這個原理稱為 如無必要，勿增實體 即 簡單有效原理 正如他在 箴言書註 2卷15題...
奧卡姆剃刀和沒有免費的午餐定理
奧卡姆剃刀 和 沒有免費的午餐 是機器學習中兩個很基本的原則和定理。由於名字有點怪，所以初學者可能在理解上陷入誤區。本文試圖用簡潔易懂的方式解釋這兩個原則和定理，並告訴大家它們的名字是怎麼來的。奧卡姆剃刀 和 沒有免費的午餐 是機器學習中兩個很基本的原則和定理，很多書都會提到它們來提公升逼格。不過，...