之前一直看不懂馬爾科夫演算法的awk實現。最近學習了awk，基本上能看懂了。c++版的參見這裡。
#!/bin/awk -f
#markov.awk: markov chain algorithm for 2-word perfixes
begin
} end }
awk是乙個模式—操作對的語言：輸入總以一次一行的方式讀入，每個讀入行都拿來與程式裡的模式做匹配，與此同時，對各個成功匹配執行有關動作。這裡存在著兩個特殊的模式，begin和end，它們分別能在輸入的第一行之前和最後一行之後匹配成功。動作是由花括號括起的乙個語句塊。在上面的 aw k版本的馬爾可夫程式裡， begin動作塊對字首和若干其他變數做初始化。隨後的乙個語句塊沒有模式部分，這是一種預設方式，意味著這個塊將對每個輸入行執行一次。awk自動把每個讀入的行分割成一些域 (由空白分隔的詞)，它們將分別成為$1到$nf。變數nf的值是域的個數。語句：
statetab[w1,w2,++nsuffix[w1,w2]] = $i
建立從字首到字尾的對映。陣列 nsuffix記錄字尾個數，其元素 nsuffix[w1, w2]記錄與字首對應的字尾的個數。而字尾本身則被做為陣列 statetab的元素，如 statetab [ w1,w2, 1]，statetab[w1, w2, 2]，等等。
馬爾科夫過程，馬爾科夫獎勵過程和馬爾科夫決策過程
馬爾科夫決策過程是強化學習中的乙個基本框架，用來表示agent與環境的互動過程 agent觀測得到環境的當前狀態之後，採取動作，環境進入下乙個狀態，agent又得到下乙個環境狀態的資訊，形成乙個迴圈迴路。在理解馬爾科夫決策過程之前，首先要理解馬爾科夫 馬爾科夫獎勵過程。1.馬爾科夫過程 滿足馬爾科夫...
馬爾科夫模型與隱馬爾科夫模型
隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移，該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列，隨機變數取值為狀態集s中的乙個狀態，設時間t時狀態為qt。對系統的描述通常是給出當前時...
馬爾科夫鏈
馬爾科夫鏈，是數學中具有馬爾科夫性質的離散事件隨機過程。該過程中，在給定當前知識和資訊的情況下，過去 即當前以前的歷史狀態 對於 將來 即當前以後的未來狀態 是無關的 一 馬爾科夫性質 原理簡潔 x1,x2,x3 馬爾科夫鏈 描述了乙個狀態序列，其每個狀態值取決於前面有限個狀態。馬爾科夫鏈是具有馬爾...