馬爾可夫鏈，因安德烈·馬爾可夫（a.a.markov，1856－1922）得名，是指數學中具有馬爾可夫性質的離散事件隨機過程。該過程中，在給定當前知識或資訊的情況下，過去（即當前以前的歷史狀態）對於**將來（即當前以後的未來狀態）是無關的。[1]
在馬爾可夫鏈的每一步，系統根據概率分布，可以從乙個狀態變到另乙個狀態，也可以保持當前狀態。狀態的改變叫做轉移，與不同的狀態改變相關的概率叫做轉移概率。隨機漫步就是馬爾可夫鏈的例子。隨機漫步中每一步的狀態是在圖形中的點，每一步可以移動到任何乙個相鄰的點，在這裡移動到每乙個點的概率都是相同的（無論之前漫步路徑是如何的）。
看＜自動駕駛＞一書45頁＂基於馬爾科夫決策過程（mdp）的mot演算法＂查閱，就是狀態的轉移．
學到了隨機漫步這個新概念，不過在slam當中，一般是考慮之前狀態的，這也是我們說非線性優化比濾波器更好的原因．
描述一種狀態序列，其每個狀態值取決於前面有限個狀態（一種很粗糙的簡化，將事物互相的關係用鏈結連起來．from＜數學之美＞209頁）
馬爾科夫過程，馬爾科夫獎勵過程和馬爾科夫決策過程
馬爾科夫決策過程是強化學習中的乙個基本框架，用來表示agent與環境的互動過程 agent觀測得到環境的當前狀態之後，採取動作，環境進入下乙個狀態，agent又得到下乙個環境狀態的資訊，形成乙個迴圈迴路。在理解馬爾科夫決策過程之前，首先要理解馬爾科夫 馬爾科夫獎勵過程。1.馬爾科夫過程 滿足馬爾科夫...
馬爾科夫模型與隱馬爾科夫模型
隨機過程 是隨時間而隨機變化的過程。又稱為隨機函式。馬爾科夫模型 vmm 它描述了一類重要的隨機過程。乙個系統有有限個狀態集s 隨時間推移，該系統將同某一狀態轉移到另一狀態。q s1,s2,sn 為一隨機變數序列，隨機變數取值為狀態集s中的乙個狀態，設時間t時狀態為qt。對系統的描述通常是給出當前時...
馬爾科夫鏈
馬爾科夫鏈，是數學中具有馬爾科夫性質的離散事件隨機過程。該過程中，在給定當前知識和資訊的情況下，過去 即當前以前的歷史狀態 對於 將來 即當前以後的未來狀態 是無關的 一 馬爾科夫性質 原理簡潔 x1,x2,x3 馬爾科夫鏈 描述了乙個狀態序列，其每個狀態值取決於前面有限個狀態。馬爾科夫鏈是具有馬爾...