NLP 揭秘馬爾可夫模型神秘面紗系列文章(二)

2021-09-08 11:58:55 字數 3256 閱讀 2416

2023年7月11日15:31:11

摘要:最早接觸馬爾可夫模型的定義源於吳軍先生《數學之美》一書,起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時,才真正使用到隱馬爾可夫模型,並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能,諸如解決:詞類標註、語音識別、句子切分、字素音位轉換、區域性句法剖析、語塊分析、命名實體識別、資訊抽取等。另外廣泛應用於

自然科學、工程技術、生物科技、公用事業、通道編碼等多個領域。

本文寫作思路如下:第一篇對馬爾可夫個人簡介和馬爾科夫鏈的介紹;第二篇介紹馬爾可夫鏈(顯馬爾可夫模型)和隱馬爾可夫模型以及隱馬爾可夫模型的三大問題(似然度、編碼、引數學習);第三至五篇逐一介紹三大問題相關演算法:(向前演算法、維特比演算法、向前向後演算法);最後非常得益於馮志偉先生自然語言處理教程一書,馮老研究自然語言幾十餘載,在此領域別有建樹

馬爾可夫模型與隱馬爾可夫模型

)

【自然語言處理:馬爾可夫模型(一)】:初識馬爾可夫和馬爾可夫鏈【自然語言處理:馬爾可夫模型(二)】:馬爾可夫模型與隱馬爾可夫模型【自然語言處理:馬爾可夫模型(三)】:向前演算法解決隱馬爾可夫模型似然度問題【自然語言處理:馬爾可夫模型(四)】:維特比演算法解決隱馬爾可夫模型解碼問題(中文句法標註)【自然語言處理:馬爾可夫模型(五)】:向前向後演算法解決隱馬爾可夫模型機器學習問題

安德烈·馬爾可夫,俄羅斯人,物理-數學博士,聖彼得堡科學院院士,彼得堡數學學派的代表人物,以數論和概率論方面的工作著稱,他的主要著作有《概率演算》等。2023年,榮獲金質獎章,2023年被授予功勳教授稱號。馬爾可夫是彼得堡數學學派的代表人物。以數論和概率論方面的工作著稱。他的主要著作有《概率演算》等。在數論方面,他研究了連分數和二次不定式理論 ,解決了許多難題 。在概率論中,他發展了矩陣法,擴大了大數律和中心極限定理的應用範圍。馬爾可夫最重要的工作是在1906~2023年間,提出並研究了一種能用數學分析方法研究自然過程的一般圖式——馬爾可夫鏈。同時開創了對一種無後效性的隨機過程——馬爾可夫過程的研究。馬爾可夫經多次觀察試驗發現,乙個系統的狀態轉換過程中第n次轉換獲得的狀態常取決於前一次(第(n-1)次)試驗的結果。馬爾可夫進行深入研究後指出:對於乙個系統,由乙個狀態轉至另乙個狀態的轉換過程中,存在著轉移概率,並且這種轉移概率可以依據其緊接的前一種狀態推算出來,與該系統的原始狀態和此次轉移前的馬爾可夫過程無關。馬爾可夫鏈理論與方法在現代已經被廣泛應用於自然科學、工程技術和公用事業中。   

當需要計算現實世界上可以直接觀察到的時間序列的概率時,(如上面天氣事件),馬爾可夫鏈很有用。但是,當我們處理的事件是現實世界不能觀察到的,而是隱含在觀察背後,諸如詞類標註(根據具體的乙個個的詞,我們實現看到的詞的序列去標註出正確的詞類,此事詞類的標註是隱藏的)、語音識別(聲學事件下,推斷出隱藏在其背後的單詞)等。類似這樣的事件馬爾可夫鏈是不能直接解決的,此處隱馬爾可夫模型便派到用場。

隱馬爾科夫模型:由被觀察到的事件(如:此類標記時我們輸入中看到的詞序列),又涉及到隱藏事件(對詞的標註),這些隱藏事件在概率模型中被我們認為是引導因素。

隱馬爾可夫模型在現實問題中應用:

(1)具有初始狀態和終結狀態的隱馬爾科夫鏈描述如下:

(2)沒有初始狀態和終結狀態的隱馬爾科夫鏈描述如下:

(3)一階隱馬爾可夫的兩個假設

問題1(似然度問題):給乙個hmm λ=(a,b) 和乙個觀察序列o,確定觀察序列的似然度問題 p(o|λ) 。

問題2(解碼問題):給定乙個觀察序列o和乙個hmm λ=(a,b),找出最好的隱藏狀態序列q。

問題3(學習問題):給定乙個觀察序列o和乙個hmm中的狀態集合,自動學習hmm的引數a和b。

如上的冰淇淋事件是典型的問題1,似然度問題,對應向前演算法解決。詞類標註是典型問題2解碼問題,對應維特比演算法解決。問題3是機器學習問題,對應向前向後演算法解決。此三個問題稍後篇章會一一介紹。

下圖描述小明吃冰淇淋的數量(觀察值)與天氣熱冷情況(隱藏值h或c)之間的隱馬爾可夫模型

其中hot1的轉移概率是:

p(1|hot)=0.2    夏天某天天氣熱吃1根冰淇淋的概率

p(2|hot)=0.4    夏天某天天氣熱吃2根冰淇淋的概率

p(3|hot)=0.4    夏天某天天氣熱吃3根冰淇淋的概率

其中cold2的轉移概率是:

p(1|hot)=0.5    夏天某天天氣冷吃1根冰淇淋的概率

p(1|hot)=0.4    夏天某天天氣冷吃2根冰淇淋的概率

p(1|hot)=0.1    夏天某天天氣冷吃3根冰淇淋的概率

其中觀察值(吃的數量):

o=隱藏值(天氣的狀態):

s=全連通hmm:任何兩個狀態之間的轉移乙個非零概率。

非全連通hmm:從左到右的單向序列,如對語音程序建模。

通過小明吃冰淇淋的觀察值推斷天氣狀態的問題,留著下節採用隱含馬爾可夫模型解決。此處採用乙個短小簡明的例子,旨在讓讀者明白原理,後續會拿到現實應用中深入講解。

統計自然語言處理基礎  christopher.manning等 著    宛春法等 譯

自然語言處理簡明教程  馮志偉 著

數學之美  吳軍 著

viterbi演算法分析文章  王亞強

宣告

NLP 揭秘馬爾可夫模型神秘面紗系列文章(二)

安德烈 馬爾可夫,俄羅斯人,物理 數學博士,聖彼得堡科學院院士,彼得堡數學學派的代表人物,以數論和概率論方面的工作著稱,他的主要著作有 概率演算 等。1878年,榮獲金質獎章,1905年被授予功勳教授稱號。馬爾可夫是彼得堡數學學派的代表人物。以數論和概率論方面的工作著稱。他的主要著作有 概率演算 等...

NLP 揭秘馬爾可夫模型神秘面紗系列文章(二)

2016年7月11日15 31 11 摘要 最早接觸馬爾可夫模型的定義源於吳軍先生 數學之美 一書,起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時,才真正使用到隱馬爾可夫模型,並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能,諸如解決 詞類標註 語音識別 句子切分 字素音位...

NLP 揭秘馬爾可夫模型神秘面紗系列文章(五)

2016年7月12日14 28 10 摘要 最早接觸馬爾可夫模型的定義源於吳軍先生 數學之美 一書,起初覺得深奧難懂且無什麼用場。直到學習自然語言處理時,才真正使用到隱馬爾可夫模型,並體會到此模型的妙用之處。馬爾可夫模型在處理序列分類時具體強大的功能,諸如解決 詞類標註 語音識別 句子切分 字素音位...