統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行**與分析的一門學科。
統計學習或機器學習涵蓋內容較多，分類角度也不同。
一般分為監督學習、無監督學習、強化學習，有時還會有半監督學習和主動學習。
監督學習：從標註資料中學習**模型的機器學習問題。
無監督學習：從無標註資料中學習**模型的機器學習問題。
強化學習：智慧型系統在與環境的連續互動中學習最優行為策略的機器學習問題。
除此之外，半監督學習和主動學習更接近監督學習。
概率模型與非概率模型：
概率模型：決策樹、樸素貝葉斯、隱馬爾可夫模型、條件隨機場、概率潛在語義分析、潛在狄利克雷分布、高斯混合模型等。
非概率模型：感知機、支援向量機、k近鄰、adaboost、k均值、潛在語義分析、神經網路等。
線性模型與非線性模型：
線性模型：感知機、線性支援向量機、k近鄰、k均值、潛在語義分析等。
非線性模型：核函式支援向量機、adaboost、神經網路等。
引數化模型與非引數化模型：
引數化模型：感知機、樸素貝葉斯、logistic回歸、k均值、高斯混合模型等。
非引數化模型：決策樹、支援向量機、adaboost、k近鄰、潛在語義分析、概率潛在語義分析、潛在狄利克雷分布等。
根據使用技巧可分為：貝葉斯學習、核方法。
貝葉斯學習：在概率模型的學習和推理中，利用貝葉斯定理，計算給定資料條件下模型的條件概率，即後驗概率，並應用這個原理進行模型的估計，以及對資料的**。例如樸素貝葉斯、潛在狄利克雷分配。
核方法：使用核函式表示和學習非線性模型的一種機器學習方法，可用於監督學習和無監督學習。例如：核函式支援向量機、核pca、核k均值。
方法=模型+策略+演算法
學習什麼樣的模型。在監督學習過程中，模型就是所要學習的條件概率分布或決策函式。模型的假設空間包含所有可能的條件概率分布或決策函式。
按照什麼樣的準則學習或選擇最優模型。
損失函式(loss function)：度量模型一次**的好壞。常用的損失函式有0-1損失函式、平方損失函式、絕對損失函式、對數損失函式。
風險函式(risk function)：理論上模型關於聯合分布的平均意義下的損失，度量平均意義下模型**的好壞。也叫期望損失（expected loss）或期望風險。
經驗風險(empirical risk)：模型關於訓練資料集的平均損失。也叫經驗損失。（等價於吳恩達機器學習中的代價函式）
經驗風險最小化與結構風險最小化
經驗風險最小化：經驗風險（代價函式）最小的模型就是最優模型。
結構風險最小化：為了防止過擬合而提出，等價於正則化，加入了正則化項或懲罰項。
用什麼樣的計算方法求解最優模型。
訓練誤差是模型
測試誤差是模型
過擬合是指學習時選擇的模型所包含的引數過多，以至於出現這一模型對已知資料**的很好，但對未知資料**很差的現象。模型的選擇就是要避免過擬合併提高模型的**能力。
模型選擇的兩種典型方法：正則化與交叉驗證。
正則化是結構風險最小化策略的實現，在經驗風險上加乙個正則化項或懲罰項。
正則化可以取不同的形式：l1正則化和l2正則化。
如果樣本充足，可以隨機地將資料集切成三部分：訓練集、驗證集和測試集。
訓練集用於訓練模型，驗證集用於模型的選擇，測試集用於最終對學習方法的評估。
泛化誤差就是所學習到的模型的期望風險。
方法的泛化能力往往是通過研究泛化誤差的概率上界進行的，簡稱泛化誤差上界。
生成方法由資料學習聯合概率分布p(x,y)，然後求出條件概率分布p(y|x)作為**的模型。
判別方法由資料直接學習決策函式發f(x)或者條件概率分布p(y|x)作為**的模型。
分類問題、標註問題和回歸問題。
統計學習及監督學習概論（1）
統計學習方法 第二版 1.1 1.2 statistical learning，關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。學習，即乙個系統能夠通過執行某個過程改進它的效能。基本假設 同類資料具有一定的統計規律性 資料型別 離散變數 連續變數 得到乙個有限的訓練資料 t...
統計學習及監督學習概論（4）
統計學習方法 第二版 1.6 1.8 用學到的模型 hat f 對未知資料 的誤差即為泛化誤差 generalization error 泛化誤差反映了學習方法的泛化能力。事實上，泛化誤差就是所學習到的模型的期望風險。泛化誤差上界 generalization error bound 性質 是樣本容...
統計學習及監督學習概論（3）
統計學習方法 第二版 1.4 1.5 當評估時使用的損失函式給定時，訓練誤差和測試誤差成為學習方法評估的標準。測試誤差反映了學習方法對未知的測試資料集的 能力 泛化能力 1 當選擇的模型複雜度過大時，過擬合現象就會發生。過擬合是指學習時選擇的模型所包含的引數過多，以至出現這一模型對已知資料 得很好，...