基於概率的分類 貝葉斯分類

2022-08-02 06:00:17 字數 1239 閱讀 1557

分類指**乙個給定的無標籤點的類標籤

貝葉斯分類器使用貝葉斯定理來**使得後驗概率最大的類標籤,主要任務是估計每乙個類的聯合概率密度函式,並通過多元正態分步來建模

令訓練資料集 d 包含 n 個 d 維空間中的點xi  

,  也就是說有n個樣本資料,d個指標;令 yi 

表示每個點的類標籤,即最終**的類別,其中yi=

貝葉斯分類器直接使用貝葉斯定理來**乙個新的例項  x  的類別  y  。它對每個類別 ci 估計後驗概率 p( ci | x ) ,並選擇具有最大概率的類。x的**類為:

可以利用貝葉斯定理,將後驗概率用似然和先驗概率表示如下:

其中p( x | ci) 是似然,定義為假設真實類是ci時觀察到x的概率。p(ci) 是類ci的先驗概率,p( x ) 是從k個任意乙個觀察到x 的概率,即

對於乙個給定的點,p( x )是固定的,因此第乙個公式可以重寫為:

偽**如下:

上面看到的完整的貝葉斯方法會遇到很多關於估計的問題,尤其是在維度比較高的情況下。樸素貝葉斯方法提出了乙個簡單的假設,即所有的屬性都是彼此獨立的。這樣可以得到乙個大大簡化但實際上出人意料地高效的分類器。獨立性假設意味著似然可以分解為每一維上的概率的乘積:

偽**為:

在以**目標  x  為中心的超球體內,哪乙個類的樣本點的數量最多,就為**結果

貝葉斯分類

貝葉斯分類 有意義區分和無意義區分 既然要區分兩種點那麼兩種點必然有區別,當區分有區別的點時說是有意義區分。而完全區分那種一模一樣的點則是無意義區分。所以我們所討論的都是有意義的區分。完全區分和不完全區分 貝葉斯分類器是一種概率上的區分,而假如兩種點一種是黑的一種是白的那不需要用貝葉斯分類器區分,因...

貝葉斯分類

樸素貝葉斯模型是一組非常簡單快速的分類演算法,通常適用於維度非常高的資料集,因為執行速度快,而且可調引數少,因此非常適合為分類問題提供快速粗糙的基本方案。貝葉斯分類 樸素貝葉斯分類器建立在貝葉斯分類方法上,其數學基礎是貝葉斯定理,乙個描述統計計量條件概率關係的公式。在貝葉斯分類中,我們希望確定乙個具...

樸素貝葉斯分類

1 貝葉斯分類是一類分類演算法的總稱,這類演算法均以貝葉斯定理為基礎,故統稱為貝葉斯分類。2 樸素貝葉斯的思想基礎是這樣的 對於給出的待分類項,求解在此項出現的條件下各個類別出現的概率,哪個最大,就認為此待分類項屬於哪個類別。通俗來說,就好比這麼個道理,你在街上看到乙個黑人,我問你你猜這哥們 來的,...