在有監督學習中，不管是機器學習演算法還是深度學習演算法都可以分為生成學習和判別學習兩種。
從概率分布的角度考慮，對於一堆樣本資料，每個均有特徵xi對應分類標記yi。
生成模型：學習得到聯合概率分布p(x,y)，即特徵x和標記y共同出現的概率，然後求條件概率分布。能夠學習到資料生成的機制。
判別模型：學習得到條件概率分布p(y|x)，即在特徵x出現的情況下標記y出現的概率。
資料要求：生成模型需要的資料量比較大，能夠較好地估計概率密度；而判別模型對資料樣本量的要求沒有那麼多。
無論是生成還是判別模型都是來求有監督模型的，目的是通過分類函式或者條件概率函式進行資料分類。
算出屬於正負樣本的概率在相互對比的就是生成模型，直接得到結果概率的就是判別模型：生成模型得分布，判別模型得最優劃分。換句話說，生成模型，就是生成(資料的分布)的模型；判別模型，就是判別(資料輸出量)的模型。
生成模型可以得到判別模型，反之不成立。
生成模型是求聯合概率分布，判別模型是求條件概率分布。
生成方法的學習收斂速度更快，當樣本容量增加的時候，學到的模型可以更快的收斂於真實模型。
判別學習不能反映訓練資料本身的特性，但它尋找不同類別之間的最優分類面，反映的是異類資料之間的差異，直接面對**，往往學習的準確率高於生成模型。
簡單的說，生成模型是從大量的資料中找規律，屬於統計學習；而判別模型只關心不同型別的資料的差別，利用差別來分類。
生成式模型：
樸素貝葉斯
混合高斯模型
隱馬爾科夫模型(hmm)
貝葉斯網路
sigmoid belief networks
馬爾科夫隨機場(markov random fields)
深度信念網路(dbn)
判別式模型：
k近鄰(knn)
線性回歸(linear regression)
邏輯回歸(logistic regression)
神經網路(nn)
支援向量機(svm)
高斯過程(gaussian process)
條件隨機場(crf)
cart(classification and regression tree)
生成模型與判別模型
監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入 相應的輸出。這個模型一般為決策函式 y f x 或 條件概率分布 p y x 生成方法 定義 由資料學習聯合概率分布 p x,y 然後由p y x p x,y p x 求出概率分布p y x 基本思想是首先建立樣本的聯合概率密度模型p x,...
生成模型與判別模型
現有的模式分類方法主要分為兩類，一類是生成式方法，比如gmm gaussian mixture model em kmeans 聚類 這類方法主要反映同類資料之間的相似度 一類是判別式方法，比如svm，主要是反映異類資料之間的差異。fisher kernel是想要結合二者的優勢 1，生成式方法可以處...
生成模型與判別模型
監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入 相應的輸出。這個模型一般為決策函式 y f x 或 條件概率分布 p y x 生成方法 定義 由資料學習聯合概率分布 p x,y 然後由p y x 求出概率分布 p y x 該方法表示了給定輸入 x產生輸出 y的生成關係。典型模型 樸素貝葉...