目錄2. 數學基礎
3. 貝葉斯決策論
3.2 基於最小錯誤率的貝葉斯決策
3.2 基於最小風險的貝葉斯決策
1.1.1 什麼是貝葉斯分類器？
1.1.2 樸素貝葉斯分類器
2.1.1 概率
（1）聯合概率
（2）條件概率
（3）全概率公式
則稱\(b_1,b_2,...,b_n\)是樣本空間\(\omega\)的乙個劃分
a為任意事件，則:
2.1.2 貝葉斯理論
（1）先驗概率
（2）條件概率
（3）後驗概率
（4）貝葉斯公式
先驗概率，後驗概率，似然估計
3.1.1 貝葉斯決策介紹
3.2.1 什麼時候會分錯類？
當某一特徵向量x為不同類物體所特有時,即幾種類別中均有可能出現該特徵，時會有分錯情況
3.2.2 基於最小錯誤率的貝葉斯分類器
（1） 後驗概率
若：\(p(\omega_i|x)=\max_p(\omega_j|x)\),則：\(x\in \omega_i\)
（2）比較分子
（3）似然比
（4）將似然比轉換成負對數形式
3.2.3 基於最小錯誤率的貝葉斯決策的證明
（1）證明步驟
當採用最大後驗概率分類器時，分類錯誤的概率為：
\(p(e)=\int_^p(error,x)dx=\int_^p(error|x)p(x)dx\)
而在已知特徵x的情況下，出現錯誤推測分類的概率為：
\(p(error|x)=\sum_^cp(\omega_i|x)-\max_p(\omega_j|x)\)
當p(w2|x)>p(w1|x)時決策為w2，對觀測值x有 p(w1|x)概率的錯誤率：
\(p(e|x)=\begin
p(x|\omega_1),當p(x|\omega_1)
設：因此平均錯誤率p(e)可表示成：
\(p(e)=\int_ p(\omega_2|x)p(x)dx+\int_p(\omega_1|x)p(x)dx\)
3.2.4 分類決策邊界
（1）分類決策邊界
（2）錯誤率
3.2.1 為什麼引入基於最小風險的貝葉斯決策?
3.2.2 基於最小風險的貝葉斯決策
為了使風險減小，就需要移**4中虛線的位置，要使得風險更大的那類錯誤分類更小，如下圖所示（\(\omega_2\)的風險要大於\(\omega_1\),所以需要將決策面傾向於分類成\(\omega_2\)）
3.2.3 決策標準
（1）自然狀態
（2）狀態空間
（3）決策與決策空間
（4）決策風險函式λ(α,ω)
（5）期望損失（風險）
3.2.4 最小風險貝葉斯決策的計算步驟
利用貝葉斯公式計算後驗概率：
\(p(\omega_i|x) =\frac=\frac^cp(\omega_i)p(x|\omega_i)}\)
利用決策表，計算條件風險：
\(r_i(x)=r(\omega_i|x)=\sum_^c\lambda(a_i,\omega_j))p(\omega_j|x)\)
決策：選擇風險最小的決策，即:
\(a=\arg\min_r(a_i|x)\)
資料探勘經典演算法總結 樸素貝葉斯分類器
貝葉斯定理 bayes theorem 是概率論 中的乙個結果，它跟隨機變數 的條件概率 以及邊緣概率分布 有關。在有些關於概率的解說中，貝葉斯定理 貝葉斯更新 能夠告知我們如何利用新證據修改已有的看法。通常，事件a在事件b 發生 的條件下的概率，與事件b在事件a的條件下的概率是不一樣的 然而，這兩...
貝葉斯分類器
程式設計實現貝葉斯分類器。編寫matlab函式，輸入為 a 均值向量 b c類問題的類分布的協方差矩陣 c c類的先驗概率 d 基於上述類的包含列向量的矩陣x。根據貝葉斯規則，輸出為乙個n維向量，它的第i列表示相應輸入向量x的第i列的類別。clear all clc mu 1 1 sigma 9 4...
貝葉斯分類器
首先在貝葉斯分類器之前先說貝葉斯理論 1 貝葉斯分類器 假設有n種可能的分類標記，即為y ij 是將乙個真實的標記cj的樣本誤分類為ci發損失，後驗概率p ci x 可獲得樣本x分類為ci的期望，則在樣本x上的 條件風險 是 我們需要最小化這個風險，也就是在每個樣本上選擇那個能使條件風險r c x ...