機器學習經典演算法之(十三) 隱馬爾可夫模型

2021-08-20 17:50:35 字數 1908 閱讀 9048

一、隱馬爾可夫模型簡介:

隱馬爾可夫模型(hidden markovmodel,hmm)是統計模型,它用來描述乙個含有隱含未知引數的馬爾可夫過程。其難點是從可觀察的引數中確定該過程的隱含引數。然後利用這些引數來作進一步的分析,例如模式識別。

隱馬爾可夫模型是馬爾可夫鏈的一種,它的狀態不能直接觀察到,但能通過觀測向量序列觀察到,每個觀測向量都是通過某些概率密度分布表現為各種狀態,每乙個觀測向量是由乙個具有相應概率密度分布的狀態序列產生。所以,隱馬爾可夫模型是乙個雙重隨機過程----具有一定狀態數的隱馬爾可夫鏈和顯示隨機函式集。自20世紀80年代以來,hmm被應用於語音識別,取得重大成功。到了90年代,hmm還被引入計算機文字識別和移動通訊核心技術「多使用者的檢測」。hmm在生物資訊科學、故障診斷等領域也開始得到應用

隱馬爾可夫模型(hmm)可以用五個元素來描述,包括2個狀態集合和3個概率矩陣:

1. 隱含狀態s

這些狀態之間滿足馬爾可夫性質,是馬爾可夫模型中實際所隱含的狀態。這些狀態通常無法通過直接觀測而得到。(例如s1、s2、s3等等)

2. 可觀測狀態o

在模型中與隱含狀態相關聯,可通過直接觀測而得到。(例如o1、o2、o3等等,可觀測狀態的數目不一定要和隱含狀態的數目一致。)

3. 初始狀態概率矩陣π

表示隱含狀態在初始時刻t=1的概率矩陣,(例如t=1時,p(s1)=p1、p(s2)=p2、p(s3)=p3,則初始狀態概率矩陣π=[ p1,p2, p3 ].

4. 隱含狀態轉移概率矩陣 a

描述了hmm模型中各個狀態之間的轉移概率。

其中aij = p( sj | si ),1≤i,j≤n.

表示在 t 時刻、狀態為 si 的條件下,在 t+1時刻狀態是 sj 的概率。

5. 觀測狀態轉移概率矩陣 b或者有時稱為:發射概率,某種隱含狀態產生某種觀測現象的概率。令n代表隱含狀態數目,m代表可觀測狀態數目,則:

bij = p( oi| sj ), 1≤i≤m,1≤j≤n.

表示在 t 時刻、隱含狀態是 sj 條件下,觀察狀態為 oi 的概率。

總結:一般的,可以用λ=(a,b,π)三元組來簡潔的表示乙個隱馬爾可夫模型。隱馬爾可夫模型實際上是標準馬爾可夫模型的擴充套件,新增了可觀測狀態集合和這些狀態與隱含狀態之間的概率關係。

二、解決的三類基本問題:

1. 評估問題。

給定觀測序列 o=o1o2o3…ot和模型引數λ=(a,b,π),怎樣有效計算某一觀測序列的概率,進而可對該hmm做出相關評估。例如,已有一些模型引數各異的hmm,給定觀測序列o=o1o2o3…ot,我們想知道哪個hmm模型最可能生成該觀測序列。通常我們利用forward演算法分別計算每個hmm產生給定觀測序列o的概率,然後從中選出最優的hmm模型。

這類評估的問題的乙個經典例子是語音識別。在描述語言識別的隱馬爾科夫模型中,每個單詞生成乙個對應的hmm,每個觀測序列由乙個單詞的語音構成,單詞的識別是通過評估進而選出最有可能產生觀測序列所代表的讀音的hmm而實現的。

2.解碼問題

給定觀測序列 o=o1o2o3…ot和模型引數λ=(a,b,π),怎樣尋找某種意義上最優的隱狀態序列。在這類問題中,我們感興趣的是馬爾科夫模型中隱含狀態,這些狀態不能直接觀測但卻更具有價值,通常利用viterbi演算法來尋找。

這類問題的乙個實際例子是中文分詞,即把乙個句子如何劃分其構成才合適。例如,句子「發展中國家」是劃分成「發展-中-國家」,還是「發展-中國-家」。這個問題可以用隱馬爾科夫模型來解決。句子的分詞方法可以看成是隱含狀態,而句子則可以看成是給定的可觀測狀態,從而通過建hmm來尋找出最可能正確的分詞方法。

3. 學習問題。

如果hmm的模型引數λ=(a,b,π)未知,如何調整這些引數以使觀測序列o=o1o2o3…ot的概率盡可能的大。通常使用baum-welch演算法以及reversedviterbi演算法解決。

三、hmm的語音識別應用舉例。

output_label = label

機器學習(10)隱馬爾可夫模型

多一條公式,少一半讀者 霍金 飲水不忘挖井人,感謝知乎上關於隱馬爾可夫的回答。這裡分兩部分,第一部分是隱馬爾可夫模型 像 什麼,第二部分是實際應用中,隱馬爾可夫模型的三類問題。第一部分 有一款遊戲,裡面有個角色,職業是戰士,戰士有三種狀態 正常狀態,狂暴狀態,防禦狀態。戰士戰鬥只有兩種動作 平a和格...

隱馬爾可夫模型HMM 機器學習模型

隱馬爾科夫模型,hidden markov model,簡稱hmm,是乙個比較經典的機器學習模型。它在語言識別,自然語言處理,模式識別等領域得到廣泛的應用。當然,隨著目前深度學習的崛起,尤其是rnn,lstm等神經網路序列模型的火熱,hmm的地位有所下降。隱馬爾可夫模型 hidden markov ...

機器學習之隱含馬爾可夫

一 馬爾可夫 簡單的來說,馬爾可夫過程就是說當前的狀態僅和上乙個狀態有關,它是一種2 gram模型 二 hmm hiden markov model 隱含馬爾可夫模型 描述 hmm是乙個時間序列問題。hmm主要有兩個矩陣和兩個序列,首先有 n 個狀態 si 每個狀態可以產生 m 個觀測值 vj 狀態...