統計決策理論是處理模式分類問題的基本理論之一，它對模式分析和分類器的設計有著實際的指導意義。
貝葉斯(bayes)決策理論方法是統計模式識別中的乙個基本方法，用這個方法進行分類時要求：
a.各類別總體的概率分布是已知的；目前最常用的決策規則有最小錯誤率貝葉斯決策和最小風險貝葉斯決策。b.要決策分類的類別數是一定的
在模式分類問題中，利用概率論中的貝葉斯公式，儘量減少分類的錯誤，可得出使錯誤率為最小的分類規則，稱之為基於最小錯誤率的貝葉斯決策。以兩類分類問題為例，假設向量為d 維樣本，識別目的是要將歸類於兩種自然狀態之一，用、表示兩種狀態。類別狀態是乙個隨機變數，而某種狀態出現的概率是可以估計的。即先驗概率和已知。但由於先驗概率提供的分類資訊太少，所以必須利用由特徵抽取得到的d 維觀測向量。為簡單起見，假定只用乙個特徵進行分類，即d=1。自然狀態下觀察的類別條件概率分布應為已知。和分別為類條件概率密度，利用貝葉斯公式：
後驗 = 似然 x 先驗 / 證據因子
此處得到的條件概率密度稱為狀態的後驗概率。因此，貝葉斯公式實質上是通過觀察把狀態的先驗概率轉化為狀態的後驗概率。
基於最小錯誤率的貝葉斯決策：
誤差概率：或者：則其平均誤差概率為：示例：做出決策：屬於正常細胞【注意：先驗概率起主導作用，如果先驗概率相等，則屬於異常細胞】
******************************=
拓展知識：
貝葉斯法則是關於隨機事件a和b的條件概率和邊緣概率的。
其中p(a|b)是在b發生的情況下a發生的可能性。
在貝葉斯法則中，每個名詞都有約定俗成的名稱：
pr(a)是a的先驗概率或邊緣概率。之所以稱為"先驗"是因為它不考慮任何b方面的因素。pr(a|b)是已知b發生後a的條件概率，也由於得自b的取值而被稱作a的後驗概率。
pr(b|a)是已知a發生後b的條件概率，也由於得自a的取值而被稱作b的後驗概率。
pr(b)是b的先驗概率或邊緣概率，也作標準化常量（normalized constant）。
本文待更新.........
貝葉斯決策論
1 什麼是行為？但是，有時候，後驗概率本身只能說明具有特徵x的樣本屬於 i類的可能性有多少，卻沒能表示如果將樣本分到 i類時的代價有多大。在此，引入行為的概念 分類器的設計初衷很簡單，就是進行 分類 這一動作。假設現在來了乙個具有特徵x的樣本，如果將 把樣本分入 i類 這一行為記為動作ai的話，我們...
貝葉斯決策論
在 前乙個例子 中已經舉例說明了如何用貝葉斯公式計算後驗概率，然後依據後驗概率來做決策。1 什麼是行為？但是，有時候，後驗概率本身只能說明具有特徵x的樣本屬於 i類的可能性有多少，卻沒能表示如果將樣本分到 i類時的代價有多大。在此，引入行為的概念。分類器的設計初衷很簡單，就是進行 分類 這一動作。假...
二 貝葉斯決策論
2.1引言 是一種基本統計途徑 出發點是利用概率的不同分類決策與相應的決策代價之間的定向折中。類條件概率密度 就是條件概率。a事件發生的情況下b事件發生的概率。x代表的是一種特徵，特徵的作用就是當x發生的時候，是其中某一種類別的可能性很大。所以可以用x作為區分的特徵。先驗概率為p wj 意思是類別屬...