統計學習的三要素為：模型、策略、演算法。
一、模型
（1）在監督學習當中，我們的目的是學習乙個由輸入到輸出的對映，這個對映就是模型。一般來說，模型有兩種形式，一種是概率模型（條件概率分布p(y|x)），另一種形式是非概率模型（決策函式y = f(x)）。
（2）假設空間是一集合：由輸入空間到輸出空間所有對映的集合。即：條件概率的集合、或者決策函式的集合。
二、策略：就是從假設空間中找到最優的對映（模型）
1，先介紹損失函式和風險函式
損失函式是用來度量模型一次對映結果的好壞；風險函式（期望損失）是用度量平均意義下模型**的好壞。損失函式的期望是：
風險函式的計算需要用到p(y|x)，我們對它又不可知，所以監督學習就成了乙個病態問題。既然這樣，我們就想，在統計學中有乙個大數定律，如果我在輸入輸出空間中取乙個足夠大的樣本，用這個樣本來近似的計算風險函式r_(f)。基於這樣的想法，我們對於含有n組資料的訓練集，定義經驗損失函式：
根據大數定律，當n趨近於無窮大的時候，經驗風險函式就趨近於風險函式。
2，學習過程在假設空間中選擇經驗風險最小的，統計學習中的策略一般有兩種——經驗風險最小化，結構風險最小化
經驗風險最小化（erm）:極大似然估計就是經驗風險最小化的例子，當模型是概率模型是，經驗風險最小化就是極大似然估計。
結構風險最小化（srm）:為了防止過擬合現象，結構風險最小化這個策略被提了出來。
其中，三、演算法
演算法，就是求解上面優化問題的演算法。這就需要用到數值優化的知識。
統計學習 統計學習三要素
模型是所要學習的條件概率分布或者決策函式。統計學習的目的在於從假設空間中選取最優模型。故需要引入損失函式與風險函式。損失函式 衡量模型一次 的好壞。風險函式 衡量平均意義模型 的好壞。l y,f x begin 1,y neq f x 0,y f x end l y,f x y f x 2 l y,...
統計學習三要素
統計學習三要素 李航博士在 統計學習方法 一書中這樣描述統計學習方法的構成 方法 模型 策略 演算法 本人更形象地借助產品經理的視角可以模擬這樣的 方法 設想 指標 方案 下面就具體學習這三個要素 三要素是巨集觀上處理問題的一種框架 模型 統計學習首先要考慮的問題是學習什麼樣的模型。以監督學習為例，...
1 3 統計學習三要素
模型 由引數向量決定的函式族 條件概率分布函式 決策函式 需要求模型引數向量 策略 選擇最優模型的依據，如經驗風險最小還是結構風險最小來求的最佳引數 演算法 模型策略最優化，怎麼去求解引數使得引數向量和真實的引數值誤差小，並且複雜度低，既包括時間複雜度也包括空間複雜度，主要計算速度和儲存空間的考慮 ...