一、問題
狀態隨時間變化，需要跟蹤、**
二、基本思想
在每個時間點，根據新的證據變數來更新世界狀態
三、時間上的概率推理
建立 轉移模型、感測器模型、先驗概率分別
1.轉移模型
世界如何演變，在描述了給定過去的時間的世界狀態下，當前時間世界的狀態變數
2.感測器模型，觀察模型
描述了給定當前世界狀態條件下，每個感知的概率分布
3.先驗概率分布
即 世界是如何開始的
四、馬爾科夫模型
當前時刻的狀態只依賴與前一時刻的狀態
當前時刻感知到的證據變數的分布只依賴與當前時刻
五、一階馬爾科夫模型的貝葉斯網路形式
隨機變數有時間下標（動態貝葉斯網路）
狀態變數：下雨、不下雨的 bool型變數（t:ture f:false）
觀察變數：帶傘、不帶傘的bool型變數
轉移模型：上邊的**（前一時刻在不同的取值下，當前時刻的概率分布）
解讀：前一時刻下雨，當前時刻下雨的概率為0.7，不下雨為0.3；
前一時刻不下雨，當前時刻下雨的概率為0.3，不下雨為0.7
感測器模型：下邊的**（當前狀態在不同的取值情況下，證據變數的概率分布表）
解讀：當前時刻下雨的情況下，帶傘的概率為0.9，不帶傘0.1
當前時刻不下雨，帶傘的概率0.2，不帶傘的概率0.8
推理1-濾波推理
2-**（**未來）
3-平滑（理解過去）
濾波推理：根據到目前為止觀察到的證據來估計當前狀態
**：根據到目前為止感知到的證據來**未來
平滑：根據到目前為止收集到的證據去重新計算過去某一時刻的概率分布
濾波公式：
六、濾波示例
假設：乙個人在房間裡沒有辦法觀察到外面的天氣
只能根據進來的人有沒有帶傘來判斷有沒有下雨
狀態變數：有沒有下雨
證據變數：有沒有帶傘
初始這一天在沒有任何證據情況下
我們設定：下雨的概率是0.5，不下雨的概率是0.5
第一天它觀察到有人帶傘了
問題：第一天下雨的概率是多少？不下雨的概率是多少？
利用濾波公式
首先根據零時刻的狀態估計乘以轉移模型
得到這麼乙個分布（0.500 0.500）
然後再根據它觀察到了帶傘了
利用感測器模型乘以（0.500 0.500）分布
就得到了
下雨的概率是0.818 不下雨的概率是0.182
分布（0.818 0.182）
（0.818 0.182）：第一天的狀態估計
第二天它又觀察到帶傘了
把第一天的狀態估計（0.818 0.182）
乘以轉移模型得到（0.627 0.373）狀態估計
再根據第二天觀察到帶傘了
乘以觀察模型就得到了下雨的概率是0.883 不下雨的概率是0.117分布（0.833 0.117）
七、總結
隱馬爾可夫模型就是一種特定表達的馬爾可夫模型
它的狀態變數是乙個 它的證據變數也只有乙個
八、矩陣表達
轉移模型
狀態變數的值域是1~s 它有s個不同的取值
把這些s個不同的取值按順序編好號
比如前面的例子
狀態變數下不下雨的值域是true和false
假設第一種值表示true 第二種值表示false
轉移模型就可以表達成乙個s行s列的方陣
用t來表示 那它的第i行第j列的值表達的就是
前一時刻取第i種值 這一時刻取第j種值的概率
比如說
這個方陣就是那個下不下雨的轉移模型
0.7表示的就是第一行第一列
第一行表示的是前一天它取第一種值也就是下雨,前一天下雨
那麼第一列表示的就是
當天也取第一種值 就是下雨
那麼這個0.7就表示前一天下雨當天也下雨的概率是0.7
感測器模型
感測器模型也可以用乙個矩陣來表示
這個矩陣是乙個對角矩陣 我們用o來表示
對角矩陣的第i列的對角元素值表示的是
當前時刻取第i種狀態情況下觀察到當前證據的概率
比如0.9表示的就是當前時刻取第一種值
當前時刻下雨 （觀察到當前證據 我們的證據變數是帶不帶傘）
觀察到帶傘的概率是0.9
第二列就是 當前時刻等於第二種值
也就是當前時刻不下雨觀察到帶傘的概率是0.2
九、矩陣運算
轉移模型和感測器模型都用矩陣表示出來
推理運算就全部可以變成矩陣運算
t+1時刻的濾波就等於
乙個歸一化因子乘以t+1時刻的感測矩陣再乘以轉移矩陣的轉置再乘以t時刻的狀態估計
馬爾科夫模型與隱馬爾科夫模型
隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移，該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列，隨機變數取值為狀態集s中的乙個狀態，設時間t時狀態為qt。對系統的描述通常是給出當前時...
隱馬爾科夫模型
隱馬爾科夫 hiddenmarkov model 簡稱為hmm，hmm資料相當豐富，推薦參見 hmm學習最佳範例與崔曉源的部落格 一文，本文只對hmm進行簡要介紹，然後說明開源ghmm實現在linux環境的搭建，hmm的開源實現有眾多不同語言的實現。馬爾科夫模型 一階馬爾科夫模型假設為 1 t l時...
隱馬爾科夫模型
一 介紹 introduction 我們通常都習慣尋找乙個事物在一段時間裡的變化模式 規律 這些模式發生在很多領域，比如計算機中的指令序列，句子中的詞語順序和口語單詞的因素修咧等等，事實上任何領域中的一系列事件都有可能產生有用的模式。考慮乙個簡單的例子，有人試圖通過一片海藻推斷天氣 民間傳說告訴我們...