經驗風險與期望風險

經驗風險**於訓練資料集，訓練資料集的平均損失也稱為經驗風險。而期望風險則針對的是全體資料。也就是已有的資料，未有的資料都包括在內。我們往往希望的得到的模型不僅要對已有的資料有較好的**效果，還更要對未知的的資料的**有好的效果。

經驗風險與期望風險有什麼關係呢？我們往往希望得到的模型期望風險能夠越小越好，也就是泛化能力越強越好。但是，期望風險我們不能直接得到。且我們可知當訓練資料集很多，接近無窮時，經驗風險就會非常接近期望風險。所以很多時候，我們希望如果能有大量的訓練資料來訓練模型，那麼就可以得到泛化能力較好的模型。但有時訓練資料不多，我們則會用別的方法盡量通過使經驗誤差較小的同時，也能有較好的泛化能力。比如，正則化、交叉驗證等。

經驗風險與期望風險的關係，我們還可以去嘗試聯想一下概率論中點估計那一章節的知識。

期望風險 經驗風險與結構風險

在機器學習中，通常會遇到期望風險 經驗風險和結構風險這三個概念，一直不知道這三個概念之間的具體區別和聯絡，今天來梳理一下 要區分這三個概念，首先要引入乙個損失函式的概念。損失函式是期望風險 經驗風險和結構風險的基礎。損失函式是針對單個具體的樣本而言的。表示的是模型 的值與樣本真實值之間的差距。比如對...

經驗風險 期望風險 結構風險

要區分這三個概念，需要先講一下損失函式l y,f x 的概念。損失函式 針對單個具體樣本，表示模型 值與真實樣本值之間的差距。損失函式越小，說明模型對於該樣本 越準確。常見損失函式有0 1損失函式 平方損失函式 絕對損失函式 對數損失函式 對數似然損失函式 經驗風險 對所有訓練樣本都求一次損失函式，...

機器學習 經驗風險 期望風險 結構風險

要區分這三個概念，需要先講一下損失函式l y,f x 的概念。損失函式 針對單個具體樣本，表示模型 值與真實樣本值之間的差距。損失函式越小，說明模型對於該樣本 越準確。常見損失函式有0 1損失函式 平方損失函式 絕對損失函式 對數損失函式 對數似然損失函式 經驗風險 對所有訓練樣本都求一次損失函式，...