生成式模型和判別式模型

2022-10-09 05:18:07 字數 694 閱讀 1113

一、簡單理解

二、生成式模型 generative model(聯想)

1、定義:學習得到聯合概率分布p(x,y),就是特徵x和標記y共同出現的概率。然後再求條件概率分布。能夠學習資料的生成機制。

2、重點:由聯合概率求條件概率。

3、常見演算法:隱馬爾可夫模型hmm、馬爾可夫隨機場、樸素貝葉斯、主題模型(lda)、高斯混合模型。

4、計算思路:學習全部樣本的先驗和條件概率分布求出後驗概率。

5、優點:

6、缺點:

三、判別式模型 discriminative model(記憶)

1、定義:學習條件概率分布p(y|x),就是特徵x出現的情況下標記y出現的概率。就是在給定資料x的情況下,分析樣本具有的特徵,然後再根據已知的特徵去匹配。

2、重點:直接學習條件概率,不會去學習聯合概率分布。

3、常見演算法:支援向量機(svm)、感知機、knn、決策樹、邏輯回歸、線性回歸、條件隨機場(crf)。(大部分有監督學習的演算法都是判別模型)

4、計算思路:直接計算得到條件概率分布或者說得到決策邊緣。

5、優點:

6、缺點:

四、例項:判斷乙個狗狗的品種是金毛還是哈士奇?

1、生成式模型

2、判別式模型

3、總結

判別式模型只生成一種模型,而生成式模型會學習很多個模型(一般是有多少種類別,就會學習多少種模型)。

判別式模型和生成式模型

判別式模型與生成式模型 生成式模型 generative model 與判別式模型 discrimitive model 是分類器常遇到的概念,它們的區別在於 對於輸入x,類別標籤y 1.生成式模型估計它們的聯合概率分布p x,y 2.判別式模型估計決策函式f x 或條件概率分布p y x 3.生成...

判別式模型和生成式模型

生成式模型 generative model 與判別式模型 discrimitive model 的區別在於 對於輸入x,類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 判別式模型常見的主要有 邏輯回歸 logistic regression 支援向量機...

判別式模型和生成式模型

區別在於 對於輸入x,類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 生成式模型可以根據貝葉斯公式得到判別式模型,但反過來不行。判別式模型常見的主要有 linear regression 線性回歸 logistic regression 最大熵模型 sv...