參考：
條件概率分布或決策函式，在監督學習中指的是所有可能的目標分布或函式的假設空間。
按照什麼樣的準則學習，從而得到最優的模型，比如損失函式、風險函式、正則化、經驗風險、結構風險等等。
損失函式 度量 模型一次**的好壞。
風險函式 度量平均意義模型**的好壞。
損失函式值越小，模型越好。由於模型的輸入、輸出是隨機變數，遵循聯合概率分布p(x, y)，所以損失函式的期望：
這是理論下模型f(x)關於聯合概率分布p(x, y)的平均意義下的損失，稱為風險函式（risk function）或期望損失（expected loss）。
學習的目標就是選擇期望風險最小的模型。
給定乙個訓練資料集 t = 。
模型關於訓練資料集的平均損失稱為經驗風險(empirical risk) 或經驗損失(expirical loss)，記作remp(f):
根據大數定理，當樣本容量n趨於無窮時，經驗風險remp(f) 趨於 期望風險rexp(f)。所以乙個自然的想法就是使用經驗風險估計期望風險。
但是，由於訓練樣本小，所以使用經驗風險估計期望風險並不理想。要對經驗風險進行矯正，這就需要監督學習的兩大策略：
學習模型的具體計算方法，比如梯度下降、隨機梯度下降等。
統計學習三要素 模型 策略 演算法
統計學習方法都是由模型 策略和演算法構成的，即 方法 模型 策略 演算法 統計學習首要考慮的問題是學習什麼樣的模型。在監督學習過程中，模型就是所要學習的條件概率分布或決策函式。模型的假設空間 hypothesis space 包含所有可能的條件概率分布或決策函式。例如，假設決策函式是輸入變數的線性函...
統計學習三要素 模型 策略 演算法
統計學習方法都是由模型 策略和演算法構成的，即 方法 模型 策略 演算法 統計學習首要考慮的問題是學習什麼樣的模型。在監督學習過程中，模型就是所要學習的條件概率分布或決策函式。模型的假設空間 hypothesis space 包含所有可能的條件概率分布或決策函式。例如，假設決策函式是輸入變數的線性函...
統計學習方法三要素
本文節選自李航博士 統計學習方法 第一章第三節的內容。文中將統計學習方法簡單表示為如下公式。另外，後文中提及的內容主要是針對監督學習進行說明。方法 模型 策略 演算法 監督學習過程中，模型就是所要學習的條件概率分布或決策函式 即訓練集到樣本集的對映函式 其假設空間包括所有可能的條件概率分布或決策函式...