100多年前，有乙個偉大的前蘇聯數學家馬爾可夫，他想用數學去描述自然界中的事物，於是提出了乙個簡單到幾句話就可以說清楚的模型，從而奠定了100年後當今網際網路世界無數技術的理論基礎。故事就是從這個模型開始的。
有這麼乙個隨機變數序列，x0、x1、x2、x3…，其中，x1的取值取決於x0，x2的取值取決於x1，x3的取值取決於x2，…
形象化來講，我們管它叫馬爾可夫鏈。這裡舉個具體的例子說明一下這個模型的用處。
兩個人在講話，a對b講了一句「今天這麼悶，應該會下雨」，b走了一下神，最後乙個「雨」字沒有聽清楚，但他還是根據倒數第二個字「下」，猜到了最後乙個字應該是「雨」，並回了一句，「是啊，天氣預報也是這樣說的」。
在這個例子就是馬爾可夫鏈的乙個很經典應用，根據xn的值推斷出xn+1的值。因為是根據「下」推斷出了「雨」，兩個字中間只相差乙個位置，所以說用的一元模型。如果上面的例子中，b沒有聽清楚「悶」，而是根據「今天這麼」而推斷出來「悶」，那b用的就是四元模型。簡單說就是，根據前面幾個位置的狀態推斷出當前狀態的值，那就是用的幾元模型。這個推斷過程，是b根據自己過去跟人說話的經驗做出的判斷，實際上是乙個概率的使用過程。可以說一元模型就是求解條件概率p(xn+1|xn)的最大值的過程，而二元模型就是求解條件概率p(xn+1|xn,xn-1)的最大值的過程。
這個模型比較經典的應用是在搜尋引擎中做n元分詞，經過語料訓練後，使用單詞之間不同組合形式出現的頻率來計算不同分詞方案之間的概率。
還是上面的例子，我們做一下變形，把a對b講的一句話表示為s1、s2、s3…這樣的序列，每一項代表乙個字，而把b從a那裡聽到的一句話表示為o1、o2、o3…這樣的乙個序列。b在聽a講話的過程，其實就是把o1、o2、o3…序列還原成s1、s2、s3…序列的過程。對b來說，a真正講的內容是什麼，也就是s1、s2、s3…序列，是未知的，隱含的，需要根據o1、o2、o3…序列去推斷。這個推斷過程，其實就是求解p(o1、o2、o3…|s1、s2、s3…)的最大值的過程。我們知道，oi和si是一一對應的，oi的值完全由si來決定，所以p(o1、o2、o3…|s1、s2、s3…)又可以表示為p(o1|s1)xp(o2|s2)xp(o3|s3)。
這裡總結一下，a對b講的那句話滿足下面這些要求：
1、o1、o2、o3…序列。
2、每個oi有乙個對應的si。
3、在未知的s1、s2、s3…序列中，可以由前面的的值，根據n元模型推斷出後面的值。比如，使用一元模型的話，可以由s0推斷出s1的值，使用二元模型的話，可以由s0、s1的值推斷出s2的值。
因此，a對b講那句話的過程就是乙個隱含馬爾可夫模型。由上面的已知條件，找出未知的，隱含的s1、s2、s3…序列的過程，就是求解隱含馬爾可夫模型，也就是找出條件概率p(o1|s1)xp(o2|s2)xp(o3|s3)的最大值。
而這裡的概率p(o1|s1)，在計算機處理中，來自統計語言模型。
這裡舉乙個搜尋引擎中詞性標註的例子。
改革，這個詞可能是動詞，也可能是名詞。根據大批量的語料訓練得知，概率各為1/2，當碰到這個詞時我們如何識別它的詞性？當然是根據上下文了。
比如，推進改革，「改革」在「推進」這個動詞之後，動詞之後是名詞的概率比較大。
比如，改革我們的制度，「改革」在名詞之前，是動詞的概率較大。
這兩個例子中，判斷「改革」這個節點的詞性時，考慮了節點之間按不同分支順序跳轉時，概率狀態的變化，就是hmm了。
這個模型應用之廣泛超出我們想象，我們根據o1、o2、o3…ox 和 s1、s2、s3…sx的不同對應關係，分一下應用領域：
1、s和o分別代表中文和英文，我們的所做的事就叫自動翻譯。
2、s和o分別代表正確語句和錯誤語句，我們的所做的事就叫自動糾錯。
3、s和o分別代表語音和文字，我們的所做的事就叫自動語音識別。
4、s和o分別代表影象和文字，我們的所做的事就叫文字識別。
5、s和o分別代表疾病和症狀，我們的所做的事就叫自動診斷。
求解隱含馬爾可夫模型，最經典的當然是以viterbi本人命名的演算法了。viterbi演算法由於設計的高效，使得演算法複雜度為線性，o(n.d^2)，也就是與o和s序列的長度成正比。其中d為si的取值範圍，在前面的例子中，也就是漢字的個數。
馬爾可夫模型的求解落腳點還是在求解p(xn+1|xn)的值上面，根據條件概率的公式，最終演化為求解p(xn+1)的p(xn)的值。通常，這兩個值是使用大量語料庫經過統計得到的。
數學家劉徽的故事
劉徽 中國數學史上乙個非常偉大的數學家，他的傑作 九章算術注 和 海島算經 是中國最寶貴的數學遺產。他的主要著作有 九章算術注 10卷 重差 1卷，至唐代易名為 海島算經 九章重差圖 l卷。可惜後兩種都在宋代失傳。九章算術 約成書於東漢之初，共有246個問題的解法。在許多方面 如解聯立方程，分數四則...
中國了不起的數學家
華羅庚 華羅庚 1910.11.12 1985.6.12 出生於江蘇常州金壇區，祖籍江素檀陽。數學家，中國科學院院士，美國國家科學院外籍院士，第三世界科學院院士，聯邦德國巴伐利亞科學院院士。中國第一至第六屆全國人大常委會委員 他是中國解析數論 矩陣幾何學 典型群 自守函式論與多元復變函式論等多方面研...
維納數學家的年齡
題目如下 美國數學家維納 n.wiener 智力早熟，11歲就上了大學。他曾在1935 1936年應邀來中國清華大學講學。一次，他參加某個重要會議，年輕的臉孔引人注目。於是有人詢問他的年齡，他回答說 我年齡的立方是個4位數。我年齡的4次方是個6位數。這10個數字正好包含了從0到9這10個數字，每個都...