貝葉斯決策論

在【前乙個例子】中已經舉例說明了如何用貝葉斯公式計算後驗概率，然後依據後驗概率來做決策。

1、什麼是行為？

但是，有時候，後驗概率本身只能說明具有特徵x的樣本屬於ωi類的可能性有多少，卻沒能表示如果將樣本分到ωi類時的代價有多大。

在此，引入行為的概念。

分類器的設計初衷很簡單，就是進行「分類」這一動作。假設現在來了乙個具有特徵x的樣本，如果將「把樣本分入ωi類」這一行為記為動作ai的話，我們將有不少於類別種類（假設有c類）的行為（因為除了將樣本分入不同類別外，還可能拒絕作出判斷，因此動作集的大小一般大於類別種類）。

2、什麼是風險？

為方便說明，令表示有限個類別集，表示有限的a中可能採取的動作集，風險函式λ(ai|ωj)描述類別狀態為ωj時採取行動ai所產生的風險。（行為導致風險，不同的行為也會使風險的大小不同）

3、什麼是損失函式？

已知使用【貝葉斯公式】可以通過先驗概率p(ωj)、概率密度函式（似然函式）p(x|ωj)以及證據因子p(x)可以求出後驗概率p(ωj|x)：

假設，樣本具有特徵值x，並且我們將採取ai行動，而樣本的真是歸屬類別為ωj，那麼將可能造成損失λ(ai|ωj)，而貝葉斯公式求出的後驗概率p(ωj|x)表示了特徵值為x時，樣本屬於類別ωj的概率，因此，與行為ai相關的損失為：

r(ai|x)稱為與行為ai相關的損失函式。計算損失函式可以展開為以下步驟：

step 1：通過將特徵值、似然函式、先驗概率帶入貝葉斯公式，求出具有特徵值x的樣本分屬各個不同類別的可能性（後驗概率）。

step 2：將樣本屬於各個不同類別的可能性乘上將樣本誤判到這一類別所需付出的代價。

step 3：將step2的結果相加即可得出對具有特徵值x的樣本進行ai操作所可能產生的損失。

顯然，要計算損失函式，則先驗概率、似然函式、風險函式都必須是已知的。

注意，風險函式是λ(ai|ωj)，損失函式（也稱條件風險）是r(ai|x)，兩者是不同的。

4、什麼是貝葉斯決策規則？

為了最小化總風險，對所有的i=1,...,a計算條件風險r(ai|x)，並選擇行為ai使r(ai|x)最小化。最小化後的總風險值稱為貝葉斯風險，記為r*，它是可獲得的最優風險。那麼，為什麼貝葉斯決策規則所得出的風險是最小的呢？

假設判決規則為函式a(x)，它用來說明對於特徵值x應採取哪種行為(即，a1,...,aa中選擇哪個行為)。如果有一種規則，使得損失函式r(ai|x)對每個特徵值x都盡可能的小，那麼對所有可能出現的特徵值x，總風險將會降到最小。

而這一理想的規則就是貝葉斯決策：

「對所有的i=1,...,a計算條件風險r(ai|x)，並選擇行為ai使r(ai|x)最小化」

通俗的說，就是對特徵值x，計算所有行為所導致的損失們（即把r(a1|x),...,r(aa|x)都算出來），然後從中選擇損失最小的乙個ak作為結果，這樣對於每個樣本，都可以做的損失最小。假設有一批樣本，其中的每乙個都做到損失最小的話，對這一批樣本而言，總體的損失就是最小的了。

不過這是一種非常理想的情況，通常是沒有那麼多已知條件的（實際情況中很少出現如此理想的情況）。不過貝葉斯決策理論倒是為我們提供了乙個與其他分類器做對比的評價依據，也就是說貝葉斯決策很多情況下是作為對比物件而存在的。