貝葉斯公式：
換種說法：
詳細參考文章樸素貝葉斯例題分析
也就是引數為1時的貝葉斯估計，當某個分量在總樣本某個分類中（觀察樣本庫/訓練集）從沒出現過，會導致整個例項的計算結果為0。為了解決這個問題，使用拉普拉斯平滑/加1平滑進行處理。
它的思想非常簡單，就是對先驗概率的分子（劃分的計數）加1，分母加上類別數；對條件概率分子加1，分母加上對應特徵的可能取值數量。這樣在解決零概率問題的同時，也保證了概率和依然為1。
python實現文字分類
# 文字分類器
import numpy as np
# 資料樣本
def loaddataset():
# dataset = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
# # ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
# # ['my', 'dalmation', 'is', 'so', 'cute', 'i', 'love', 'hime'],
# # ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
# # ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
# # ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
dataset = [['玩', '遊', '戲', '吧'],
['玩', 'lol', '吧'],
['我', '要', '學', '習'],
['學', '習', '使', '我', '快', '了'],
['學', '習', '萬', '歲'],
['我', '要', '玩', '耍']]
label = [1, 1, 0, 0, 0, 1]
return dataset, label
# 獲取文件**現的不重複詞表
def createvocablist(dataset):
vocaset = set() # 用集合結構得到不重複詞表
for document in dataset:
vocaset = vocaset | set(document) # 兩個集合的並集
return list(vocaset)
def setword(listvocaset, inputset):
newvocaset = [0] * len(listvocaset)
for data in inputset:
if data in listvocaset:
newvocaset[listvocaset.index(data)] = 1 # 如果文件中的單詞在列表中，則列表對應索引元素變為1
return newvocaset
def train(listnewvocaset, label):
label = np.array(label)
numdocument = len(listnewvocaset) # 樣本總數
numword = len(listnewvocaset[0]) # 詞表的大小
pinsult = np.sum(label) / float(numdocument)
p0num = np.ones(numword) # 非侮辱詞彙
p1num = np.ones(numword) # 侮辱詞彙
p0denom = 2.0 # 拉普拉斯平滑
p1denom = 2.0
for i in range(numdocument):
if label[i] == 1:
p1num += listnewvocaset[i]
p1denom += 1
else:
p0num += listnewvocaset[i]
p0denom += 1
# 取對數是為了防止因為小數連乘而造成向下溢位
p0 = np.log(p0num / p0denom) # 屬於非侮辱性文件的概率
p1 = np.log(p1num / p1denom) # 屬於侮辱性文件的概率
return p0, p1, pinsult
# 分類函式
def classiyynb(inputdata, p0, p1, pinsult):
# 因為取對數，因此連乘操作就變成了連續相加
p0vec = np.sum(inputdata * p0) + np.log(pinsult)
p1vec = np.sum(inputdata * p1) + np.log(1.0 - pinsult)
if p0vec > p1vec:
return 0
else:
return 1
def testingnb():
dataset, label = loaddataset()
***st = createvocablist(dataset)
listnewvocaset =
for listvocaset in dataset:
p0, p1, pinsult = train(listnewvocaset, label)
inputdata = ['玩', '一', '玩']
inputdata = np.array(inputdata)
inputdata = setword(***st, inputdata)
print("這句話對應的分類是：")
print(classiyynb(inputdata, p0, p1, pinsult))
testingnb()
樸素貝葉斯演算法Python實現
coding cp936 樸素貝葉斯分類器的實現 執行 reload docclass c1 docclass.bayes docclass.getwords docclass.sampletrain c1 c1.classify quick rabbit default unknown 構建訓練樣...
樸素貝葉斯演算法python
樸素貝葉斯演算法的工作原理主要是概率論和數理統計 通過屬性對分類的影響程度，所展現不同的結果 import numpy as np x np.array 0,1,0,1 1,1,1,0 0,1,1,0 0,0,0,1 0,1,1,0 0,1,0,1 1,0,0,1 y np.array 0,1,1,...
樸素貝葉斯演算法的python實現
樸素貝葉斯 比如我們想判斷乙個郵件是不是垃圾郵件，那麼我們知道的是這個郵件中的詞的分布，那麼我們還要知道 垃圾郵件中某些詞的出現是多少，就可以利用貝葉斯定理得到。樸素貝葉斯分類器中的乙個假設是 每個特徵同等重要 loaddataset createvocablist dataset setofwor...