統計學習方法四 樸素貝葉斯

2022-08-09 12:30:23 字數 576 閱讀 3539

結合之前的部落格:

一、什麼是樸素貝葉斯?

樸素貝葉斯是基於貝葉斯定理與特徵條件獨立假設的分類方法。

對於給定的資料集,首先基於特徵條件獨立假設學習輸入/輸出的聯合概率分布;然後基於此模型,對給定的輸入x,利用貝葉斯定理求出後驗概率最大的輸出y

特徵:(1)多分類

(2)生成學習方法

二、學習與分類

1、條件獨立性

樸素貝葉斯法對條件概率分布作了條件獨立性的假設。樸素就樸素在這...

所謂的條件獨立性就是說用於分類的特徵在類確定的條件下都是條件獨立的,各個特徵不會相互影響。

p(a,b|c) = p(a|c)*p(b|c)

2、後驗概率最大化

通過推理..可得出:後驗概率最大化等價於0-1損失函式時的期望風險最小化

後驗概率最大化:將例項分到後驗概率最大的類中

三、引數估計

1、極大似然估計

2、貝葉斯估計

在極大似然估計中加入乙個引數,避免極大似然估計可能出現的概率為0的情況

統計學習方法四 樸素貝葉斯分類

樸素貝葉斯分類 1,基本概念 2,演算法流程 關鍵點 理解先驗概率,條件概率,最大後驗概率,下面是以極大似然估計的 3,演算法改進 貝葉斯估計 上述用極大似然估計可能會出現所要估計的概率值為0的情況,改進方法 先驗概率貝葉斯估計 k表示類別數,為引數 0時為極大似然估計 1時為拉普拉斯平滑 條件概率...

統計學習方法 樸素貝葉斯法

乙個事件概率依賴於另外乙個事件 已發生 的度量。p b a 的意義是在a發生的情況下b事件發生的概率。這就是條件概率。p ab p a times p b a 代表的意義是,ab事件同時發生的概率等於事件a發生的概率乘以在a發生條件下b事件發生的概率。p b a frac 事件序列發生且彼此相互依賴...

統計學習方法 樸素貝葉斯 python實現

樸素貝葉斯演算法 首先訓練樸素貝葉斯模型,對應演算法4.1 1 分別計算先驗概率及條件概率,分別存在字典priorp和condp中 初始化函式中定義 其中,計算乙個向量各元素頻率的操作反覆出現,定義為count函式。初始化函式定義了先驗概率和條件概率字典,並訓練模型 def init self,da...