機器學習 生成模型和判別模型

2021-08-18 10:58:48 字數 842 閱讀 6224

【摘要】

判別式模型,就是只有乙個模型,你把測試用例往裡面一丟,label就出來了,如svm。生成式模型,有多個模型(一般有多少類就有多少個),你得把測試用例分別丟到各個模型裡面,最後比較其結果,選擇最優的作為label,如樸素貝葉斯。本文將從生成式模型與判別式模型的概念,適用環境以及具體模型三個方面分析比較這兩個模型,並在最後對列出模型範例,進行範例比較。

【基本概念】

【適用環境】

更進一步,從結果角度,兩種模型都能給你 輸出量(label 或 y etc.)。

【具體模型】

更進一步,可以再理解一下:

生成式模型

判別式模型

【模型範例】

假設你現在有乙個分類問題,x是特徵,y是類標記。用生成模型學習乙個聯合概率分布p(x,y),而用判別模型學習乙個條件概率分布p(y|x)。用乙個簡單的例子來說明這個這個問題。假設x就是兩個(1或2),y有兩類(0或1),有如下如下樣本(1,0)、(1,0)、(1,1)、(2,1)

則 學習到的聯合概率分布(生成模型)如下:01

11/2

1/42

01/4

而學習到的條件概率分布(判別模型)如下: 0

112/31/320

1在實際分類問題中,判別模型可以直接用來判斷特徵的類別情況,而生成模型,需要加上貝耶斯法則,然後應用到分類中。但是,生成模型的概率分布可以還有其他應用,就是說生成模型更一般更普適。不過判別模型更直接,更簡單。

兩種方法目前交叉較多。由生成式模型可以得到判別式模型,但由判別式模型得不到生成式模型。

關於生成式模型和判別式模型的優缺點的具體分析,

詳見:判別式模型 vs. 生成式模型。

詳址:

機器學習基礎 生成模型和判別模型

決策函式y f x 你輸入乙個x,它就輸出乙個y,這個y與乙個閾值比較,根據比較結果判定x屬於哪個類別。例如兩類 w1和w2 分類問題,如果y大於閾值,x就屬於類w1,如果小於閾值就屬於類w2。這樣就得到了該x對應的類別了。你輸入乙個x,它通過比較它屬於所有類的概率,然後輸出概率最大的那個作為該x對...

機器學習 生成模型與判別模型詳解

3.如何選擇哪種模型 生成模型 generative model,gm 先對聯合概率p x p x,p x,建模,然後再求取後驗概率模型。判別模型 discriminative model,dm 從資料集d中直接估計後驗概率模型 p 1 x p 2 x p n x p 1 x p 2 x p n x...

生成模型和判別模型

監督學習的結果是得到乙個分類或 模型,應用該模型可以對給定輸入 x 得到相應的輸出 y,即 y f x 或者p y x 根據不 同類對應 的後驗概 率判斷所 屬類別 根據模型是否表示了x 到 y的生成過程將模型分為兩種,生成方式 判別方式。生成模型p y x p x y p x 如樸素貝葉斯法 隱馬...