偏差 方差 經驗風險最小化 聯合界 一致收斂

2021-06-26 18:15:57 字數 533 閱讀 4503

本篇與前面不同,主要內容不是演算法,而是機器學習的另一部分內容——學習理論。主要包括偏差/方差(bias/variance)、經驗風險最小化(empirical risk minization,erm)、聯合界(union bound)、一致收斂(uniform convergence)。

ng對學習理論的重要性很是強調,他說理解了學習理論是對機器學習只懂皮毛的人和真正理解機器學習的人的區別。學習理論的重要性在於通過它能夠針對實際問題更好的選擇模型,修改模型。

經驗風險最小化

前面提到,機器學習的目的就是根據一些訓練樣本 尋找乙個最優的函式,使得函式對輸入 x的估計y 與實際輸出y之間的期望風險 可以暫時理解為誤差 最小化。期望風險最小化 依賴於樣本的輸入 x與其輸出 y之間的函式對映關係f x,y 而這個對映關係,在機器視覺和模式識別系統中,一般指代先驗概率和類條件概率...

經驗風險最小化

前面提到,機器學習的目的就是根據一些訓練樣本 尋找乙個最優的函式,使得函式對輸入 x的估計y 與實際輸出y之間的期望風險 可以暫時理解為誤差 最小化。期望風險最小化 依賴於樣本的輸入 x與其輸出 y之間的函式對映關係f x,y 而這個對映關係,在機器視覺和模式識別系統中,一般指代先驗概率和類條件概率...

經驗風險最小化ERM

本篇與前面不同,主要內容不是演算法,而是機器學習的另一部分內容 學習理論。主要包括偏差 方差 bias variance 經驗風險最小化 empirical risk minization,erm 聯合界 union bound 一致收斂 uniform convergence ng對學習理論的重要...