機器學習 沒有免費的午餐定理

2021-09-27 13:20:20 字數 510 閱讀 8993

一種演算法(演算法a)在特定資料集上的表現優於另一種演算法(演算法b)的同時,一定伴隨著演算法a在另外某乙個特定的資料集上有著不如演算法b的表現;

具體問題(機器學習領域內問題)具體分析(具體的機器學習演算法選擇)。

具體哪乙個函式更好,取決於資料本身的規律,而這個規律,從有限的觀測資料中,是不可能絕對準確地把握的。

沒有免費午餐理論所證明的是:能產生所觀測到的資料的規律有無窮多種,而乙個函式只能很好的擬合其中某些規律,而無法很好的擬合另外一些;如果考慮所有這些可能的規律,那麼任何函式都只是在進行隨機猜測而已。

沒有免費午餐定理最重要的寓意,是讓我們清楚地認識到,

脫離具體問題,空泛地談論「什麼學習演算法更好「毫無意義,

因為若考慮所有潛在的問題,則所有的演算法一樣好。

要談論演算法的相對優劣,必須要針對具體問題;

在某些問題上表現好的學習演算法,在另一問題上卻可能不盡如人意,學習演算法自身的歸納偏好與問題是否相配,往往會起到決定性作用。

機器學習西瓜書 歸納偏好和沒有免費午餐定理

歸納偏好 機器學習演算法在學習過程中對某種型別假設的偏好,稱為 歸納偏好 或簡稱為 偏好 偏好的原則 奧卡姆剃刀 若有多個假設與觀察一致,則選擇最簡單的那個。沒有免費午餐定理 首先約定如下 樣本空間 chi 離散的 假設空間h eta h 離散的 l al a la 乙個訓練出的演算法 x xx 訓...

簡化論述沒有免費午餐定理(NFL)

no free lunch theoren 定理 沒有免費的午餐定理,簡稱nfl定理,由美國史丹福大學的wolpert和macready教授提出。在機器學習演算法中的體現為在沒有實際背景下,沒有一種演算法比隨機胡猜的效果好。首先,我們假設乙個演算法為a,而隨機胡猜的演算法為b,為了簡單起見,假設樣本...

奧卡姆剃刀和沒有免費的午餐定理

奧卡姆剃刀 和 沒有免費的午餐 是機器學習中兩個很基本的原則和定理。由於名字有點怪,所以初學者可能在理解上陷入誤區。本文試圖用簡潔易懂的方式解釋這兩個原則和定理,並告訴大家它們的名字是怎麼來的。奧卡姆剃刀 和 沒有免費的午餐 是機器學習中兩個很基本的原則和定理,很多書都會提到它們來提公升逼格。不過,...