生成式模型和判別式模型(通俗易懂)

2021-10-23 10:45:52 字數 1323 閱讀 5160

決策函式y=f(x):輸入乙個x,它就輸出乙個y值,這個y與乙個閾值比較,根據比較結果判定x屬於哪個類別。

條件概率分布p(y|x):輸入乙個x,它通過比較它屬於所有類的概率,然後**時應用最大後驗概率法(map)即比較條件概率最大的類為x對應的類別。

舉個例子,對於乙個二分類問題:對於y=f(x)形式的分類模型,如果輸出y大於某個閾值v就屬於類w1,否則屬於類w2;而對於p(y|x)形式的分類模型,分別計算條件概率,如果p(w1|x)大於p(w2|x),x就屬於類w1,否則屬於類w2。

生成式模型(generative model)由資料學習聯合概率密度分布p(x,y),然後生成

條件概率分布p(y|x),或者直接學得乙個決策函式 y=f(x),用作模型**。

判別式模型(discriminative model)由資料直接學習決策函式f(x)或者條件概率分布p(y|x)作為**。

1.生成模型和判別模型都屬於監督學習的模型。

2.生成式模型可以根據貝葉斯公式得到條件概率分布p(y|x),但反過來不行,即判別方法不能還原出聯合概率分布p(x,y)。

3.生成方法學習聯合概率密度分布p(x,y),所以就可以從統計的角度表示資料的分布情況,能夠反映同類資料本身的相似度,但它不關心到底劃分各類的那個分類邊界在哪;判別方法

不能反映訓練資料本身的特性,但它尋找不同類別之間的最優分類面,反映的是異類資料之間的差異。

生成式模型:

判別式模型:

假如你的任務是識別乙個語音屬於哪種語言,對面乙個人走過來,和你說了一句話,你需要識別出她說的到底是漢語、英語還是法語等。那麼你可以有兩種方法達到這個目的:

(1)學習每一種語言,你花了大量精力把漢語、英語和法語等都學會了,我指的學會是你知道什麼樣的語音對應什麼樣的語言。然後再有人過來對你說,你就可以知道他說的是什麼語音.

(2)不去學習每一種語言,你只學習這些語言之間的差別,然後再判斷(分類)。意思是指我學會了漢語和英語等語言的發音是有差別的,我學會這種差別就好了。

第一種方法就是生成方法,第二種方法是判別方法。

參考一篇比較判別式模型和生成式模型的*****: 

on dicriminative vs. generative classfier: a comparison of logistic regression and ***** bayes

判別式模型和生成式模型

判別式模型與生成式模型 生成式模型 generative model 與判別式模型 discrimitive model 是分類器常遇到的概念,它們的區別在於 對於輸入x,類別標籤y 1.生成式模型估計它們的聯合概率分布p x,y 2.判別式模型估計決策函式f x 或條件概率分布p y x 3.生成...

判別式模型和生成式模型

生成式模型 generative model 與判別式模型 discrimitive model 的區別在於 對於輸入x,類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 判別式模型常見的主要有 邏輯回歸 logistic regression 支援向量機...

判別式模型和生成式模型

區別在於 對於輸入x,類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 生成式模型可以根據貝葉斯公式得到判別式模型,但反過來不行。判別式模型常見的主要有 linear regression 線性回歸 logistic regression 最大熵模型 sv...