NLP 揭秘馬爾可夫模型神秘面紗系列文章（五）

2023年7月12日14:28:10

摘要：最早接觸馬爾可夫模型的定義源於吳軍先生《數學之美》一書，起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時，才真正使用到隱馬爾可夫模型，並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能，諸如解決：詞類標註、語音識別、句子切分、字素音位轉換、區域性句法剖析、語塊分析、命名實體識別、資訊抽取等。另外廣泛應用於自然科學、工程技術、生物科技、公用事業、通道編碼等多個領域。本文寫作思路如下：第一篇對馬爾可夫個人簡介和馬爾科夫鏈的介紹；第二篇介紹馬爾可夫鏈（顯馬爾可夫模型）和隱馬爾可夫模型以及隱馬爾可夫模型的三大問題（似然度、編碼、引數學習）；第三至五篇逐一介紹三大問題相關演算法：（向前演算法、維特比演算法、向前向後演算法）；最後非常得益於馮志偉先生自然語言處理教程一書，馮老研究自然語言幾十餘載，在此領域別有建樹。

（：向前向後演算法解決隱馬爾可夫模型機器學習問題)

【自然語言處理：馬爾可夫模型（五）】：向前向後演算法解決隱馬爾可夫模型機器學習問題

安德烈·馬爾可夫，俄羅斯人，物理-數學博士，聖彼得堡科學院院士，彼得堡數學學派的代表人物，以數論和概率論方面的工作著稱，他的主要著作有《概率演算》等。2023年，榮獲金質獎章，2023年被授予功勳教授稱號。馬爾可夫是彼得堡數學學派的代表人物。以數論和概率論方面的工作著稱。他的主要著作有《概率演算》等。在數論方面，他研究了連分數和二次不定式理論 ，解決了許多難題 。在概率論中，他發展了矩陣法，擴大了大數律和中心極限定理的應用範圍。馬爾可夫最重要的工作是在1906～2023年間，提出並研究了一種能用數學分析方法研究自然過程的一般圖式——馬爾可夫鏈。同時開創了對一種無後效性的隨機過程——馬爾可夫過程的研究。馬爾可夫經多次觀察試驗發現，乙個系統的狀態轉換過程中第n次轉換獲得的狀態常取決於前一次（第（n-1）次）試驗的結果。馬爾可夫進行深入研究後指出：對於乙個系統，由乙個狀態轉至另乙個狀態的轉換過程中，存在著轉移概率，並且這種轉移概率可以依據其緊接的前一種狀態推算出來，與該系統的原始狀態和此次轉移前的馬爾可夫過程無關。馬爾可夫鏈理論與方法在現代已經被廣泛應用於自然科學、工程技術和公用事業中。

向前向後演算法解決：問題3（學習問題）：給定乙個觀察序列o和乙個hmm中的狀態集合，自動學習hmm的引數a和b。

鮑姆-韋爾奇演算法（baum-welch algorithm）：訓練hmm的標準演算法是向前向後演算法，這是期望最大化演算法或者叫鮑姆-韋爾奇演算法，這個演算法幫助我們訓練hmm的轉移概率b和發射概率a。

鮑姆-韋爾奇演算法思路：

（1）    反覆的估計所得的計數，從轉移概率和觀察概率的乙個估計值開始，反覆的使用這些估計概率來推出越來越好的概率。

（2）    對於乙個觀察，計算它向前概率，從而得到我們估計的概率。然後把這個估計的概率量，在對於這個向前概率有貢獻的所有不同路徑上進行分攤。

計算向前概率相似的歸納法來計算向後概率：

統計自然語言處理基礎  christopher.manning等 著    宛春法等 譯

自然語言處理簡明教程  馮志偉 著

數學之美  吳軍 著

viterbi演算法分析文章  王亞強

宣告

NLP 揭秘馬爾可夫模型神秘面紗系列文章（二）

安德烈 馬爾可夫，俄羅斯人，物理 數學博士，聖彼得堡科學院院士，彼得堡數學學派的代表人物，以數論和概率論方面的工作著稱，他的主要著作有 概率演算 等。1878年，榮獲金質獎章，1905年被授予功勳教授稱號。馬爾可夫是彼得堡數學學派的代表人物。以數論和概率論方面的工作著稱。他的主要著作有 概率演算 等...

NLP 揭秘馬爾可夫模型神秘面紗系列文章（二）

2016年7月11日15 31 11 摘要 最早接觸馬爾可夫模型的定義源於吳軍先生 數學之美 一書，起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時，才真正使用到隱馬爾可夫模型，並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能，諸如解決 詞類標註 語音識別 句子切分 字素音位...

NLP 揭秘馬爾可夫模型神秘面紗系列文章（二）

2016年7月11日15 31 11 摘要 最早接觸馬爾可夫模型的定義源於吳軍先生 數學之美 一書，起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時，才真正使用到隱馬爾可夫模型，並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能，諸如解決 詞類標註 語音識別 句子切分 字素音位...