N Gram的基本原理

n-gram是基於乙個假設：第n個詞出現與前n-1個詞相關，而與其他任何詞不相關（這也是隱馬爾可夫當中的假設）。整個句子出現的概率就等於各個詞出現的概率乘積。各個詞的概率可以通過語料中統計計算得到。通常n-gram取自文字或語料庫。

n=1時稱為unigram，n=2稱為bigram，n=3稱為trigram，假設下乙個詞的出現依賴它前面的乙個詞，即 bigram，假設下乙個詞的出現依賴它前面的兩個詞，即 trigram，以此類推。

舉例中文：「你今天休假了嗎」，它的bigram依次為：

你今，今天，天休，休假，假了，了嗎

理論上，n 越大越好，經驗上，trigram 用的最多，儘管如此，原則上，能用 bigram 解決，絕不使用 trigram。

假設句子t是有詞序列w1,w2,w3...wn組成，用公式表示n-gram語言模型如下：

p(t)=p(w1)*p(w2)*p(w3)***p(wn)=p(w1)*p(w2|w1)*p(w3|w1w2)** *p(wn|w1w2w3...) 
p(t) 就是語言模型，即用來計算乙個句子 t 概率的模型。

以上公式難以實際應用。此時出現馬爾可夫模型，該模型認為，乙個詞的出現僅僅依賴於它前面出現的幾個詞。這就大大簡化了上述公式。

p(w1)p(w2|w1)p(w3|w1w2)…p(wn|w1w2…wn-1)≈p(w1)p(w2|w1)p(w3|w2)…p(wn|wn-1)

一般常用的n-gram模型是bi-gram和tri-gram。分別用公式表示如下：

bi-gram:  p(t)=p(w1|begin)*p(w2|w1)*p(w3|w2)***p(wn|wn-1) 
tri-gram: p(t)=p(w1|begin1,begin2)*p(w2|w1,begin1)*p(w3|w2w1)***p(wn| wn-1,wn-2)

注意上面概率的計算方法：p(w1|begin)=以w1為開頭的所有句子/句子總數；p(w2|w1)=w1,w2同時出現的次數/w1出現的次數。以此類推

語料庫中一些單詞的詞頻，統計出各個單詞與其他單詞的前後聯絡的頻次，組成乙個7*7的二維矩陣，如下圖

那麼語句「i want to eat chinese food」的二元語言模型概率計算過程如下

通常，通過計算最大似然估計（maximum likelihood estimate）構造語言模型，這是對訓練資料的最佳估計，如 bigram 公式如下：

p(wi|wi−1)=fraccount(wi−1,wi)count(wi−1)——條件概率

如給定句子集「i am sam

sam i am

i do not like green eggs and ham 」

部分 bigram 語言模型如下所示

count(wi) 如下:

count(wi−1,wi) 如下:

則 bigram 為：

那麼，句子「i want chinese food」的概率為：