本篇與前面不同，主要內容不是演算法，而是機器學習的另一部分內容——學習理論。主要包括偏差/方差（bias/variance）、經驗風險最小化（empirical risk minization，erm）、聯合界（union bound）、一致收斂（uniform convergence）。
ng對學習理論的重要性很是強調，他說理解了學習理論是對機器學習只懂皮毛的人和真正理解機器學習的人的區別。學習理論的重要性在於通過它能夠針對實際問題更好的選擇模型，修改模型。
經驗風險最小化
前面提到，機器學習的目的就是根據一些訓練樣本 尋找乙個最優的函式，使得函式對輸入 x的估計y 與實際輸出y之間的期望風險 可以暫時理解為誤差 最小化。期望風險最小化 依賴於樣本的輸入 x與其輸出 y之間的函式對映關係f x,y 而這個對映關係，在機器視覺和模式識別系統中，一般指代先驗概率和類條件概率...
經驗風險最小化
前面提到，機器學習的目的就是根據一些訓練樣本 尋找乙個最優的函式，使得函式對輸入 x的估計y 與實際輸出y之間的期望風險 可以暫時理解為誤差 最小化。期望風險最小化 依賴於樣本的輸入 x與其輸出 y之間的函式對映關係f x,y 而這個對映關係，在機器視覺和模式識別系統中，一般指代先驗概率和類條件概率...
結構風險最小化
損失函式和風險函式 監督學習問題是在假設空間中選取模型f作為決策函式，對於給定的輸入x，由f x 給出相應的輸出y，這個輸出的 值f x 與真實值y可能一致也可能不一致，用乙個損失函式或代價函式來度量 錯誤的程度。損失函式是f x 和y的非負實值函式，記作l y,f x 損失函式值越小，模型就越好。...