wikipedia上有關n-gram的定義：
n-gram是一種統計語言模型，用來根據前(n-1)個item來**第n個item。在應用層面，這些item可以是音素（語音識別應用）、字元（輸入法應用）、詞（分詞應用）或鹼基對（基因資訊）。一般來講，可以從大規模文字或音訊語料庫生成n-gram模型。
習慣上，1-gram叫unigram，2-gram稱為bigram，3-gram是trigram。還有four-gram、five-gram等，不過大於n>5的應用很少見。
n-gram語言模型的思想，可以追溯到資訊理論大師夏農的研究工作，他提出乙個問題：給定一串字母，如」for ex」，下乙個最大可能性出現的字母是什麼。從訓練語料資料中，我們可以通過極大似然估計的方法，得到n個概率分布：是a的概率是0.4，是b的概率是0.0001，是c的概率是…，當然，別忘記約束條件：所有的n個概率分布的總和為1.
n-gram模型概率公式推導。根據條件概率和乘法公式：
得到拿乙個應用來講，假設t是由詞序列a1,a2,a3,…an組成的，那麼p(t)=p(a1a2a3…an)=p(a1)p(a2|a1)p(a3|a1a2)…p(an|a1a2…an-1)
如果直接這麼計算，是有很大困難的，需要引入馬爾科夫假設，即：乙個item的出現概率，只與其前m個items有關，當m=0時，就是unigram，m=1時，是bigram模型。
因此，p(t)可以求得，例如，當利用bigram模型時，p(t)=p(a1)p(a2|a1)p(a3|a2)…p(an|an-1)
而p(an|an-1)條件概率可以通過極大似然估計求得，等於count(an-1,an)/count(an-1)。
其實，說n-gram長什麼樣，是不嚴謹的。它只是乙個語言模型，只要把需要的資訊儲存下來，至於什麼格式都是依據應用來定。如，著名的google books ngram viewer，它的n-gram資料格式是這樣的：
circumvallate 1978 335 91
circumvallate 1979 261 91
analysis is often described as 1991 1 1 1—@北冰洋 2
—@盧森堡 1
—@週日 1
—@網際網路 1
—@地 1
—@地域 1
—@塔斯社 9
—@尚義 12
—@巴 1
—@巴勒斯坦 1
—@拉法耶特 3
—@拍賣 1
—@昆明 1
4.1 文化研究
4.2 分詞演算法
4.3 語音識別
4.4 輸入法
它實驗救生無得
他實驗就生物的
他是研究聖物的
他是研究生物的
不過搜狗輸入法後來居上，它採用更先進的雲計算技術(n-gram模型的資料量可是相當之大，後面會說到)
4.5 機器翻譯
做概率統計的都知道，語料庫的規模越大，做出的n-gram對統計語言模型才更有用，例如，google books ngram專案，單獨對中文的n-gram，從2023年到2023年，總體規模如下：
....
1999 1046431040 8988394 9256
2000 1105382616 10068214 10504
2001 1017707579 8508116 9426
2002 1053775627 9676792 11116
2003 1003400478 9095202 10624
2004 1082612881 9079834 11200
2005 1326794771 10754207 13749
2006 1175160606 9381530 12030
2007 826433846 6121305 7291
2008 752279725 5463702 6436
2009 442976761 2460245 2557
year n-gram count book page count book volumecount
26859461025 252919372 302652
....
1999 9997156197 48914071 91983
2000 11190986329 54799233 103405
2001 11349375656 55886251 104147
2002 12519922882 62335467 117207
2003 13632028136 68561620 127066
2004 14705541576 73346714 139616
2005 14425183957 72756812 138132
2006 15310495914 77883896 148342
2007 16206118071 82969746 155472
2008 19482936409 108811006 206272
year n-gram count book page count book volumecount
468491999592 2441898561 4541627
以上是google books n-gram的相關資料，在前些年，google還提供了基於web的1個t的n-gram，規模如下：
number of tokens: 1,024,908,267,229
number of sentences: 95,119,665,584
number of unigrams: 13,588,391
number of bigrams: 314,843,401
number of trigrams: 977,069,902
number of fourgrams: 1,313,818,354
number of fivegrams: 1,176,470,663
除了google，微軟通過它的bing搜尋，也開放了pb級別（1pb = 1perabyte = 1024 tb = 1024 * 1024 * 1024 mb）的n-gram，這種數量級別的，只能放雲儲存上了。
N Gram語言模型
wikipedia上有關n gram的定義 n gram是一種統計語言模型，用來根據前 n 1 個item來 第n個item。在應用層面，這些item可以是音素 語音識別應用 字元 輸入法應用 詞 分詞應用 或鹼基對 基因資訊 一般來講，可以從大規模文字或音訊語料庫生成n gram模型。習慣上，1 ...
語言模型（N Gram）
問題描述 由於公司業務產品中，需要使用者自己填寫公司名稱，而這個公司名稱存在大量的亂填現象，因此需要對其做一些歸一化的問題。在這基礎上，能延伸出乙個 使用者填寫的公司名是否有效的模型出來。目標 問題提出來了，就是想找到一種辦法來 使用者填寫的公司名是否有效？問題分析 要想 使用者填寫的公司名稱是否有...
語言模型（N Gram）
問題描述 由於公司業務產品中，需要使用者自己填寫公司名稱，而這個公司名稱存在大量的亂填現象，因此需要對其做一些歸一化的問題。在這基礎上，能延伸出乙個 使用者填寫的公司名是否有效的模型出來。目標 問題提出來了，就是想找到一種辦法來 使用者填寫的公司名是否有效？問題分析 要想 使用者填寫的公司名稱是否有...