馬爾科夫隨機場

馬爾可夫鏈因安德烈·馬爾可夫（andrey markov，1856－1922）得名，是數學中具有馬爾可夫性質的離散時間隨機過程。該過程中，在給定當前知識或資訊的情況下，過去（即當期以前的歷史狀態）對於**將來（即當期以後的未來狀態）是無關的。

時間和狀態都是離散的馬爾可夫過程稱為馬爾可夫鏈, 簡記為

馬爾可夫鏈是隨機變數

這裡x為過程中的某個狀態。上面這個恒等式可以被看作是馬爾可夫性質。

馬爾可夫在2023年首先做出了這類過程。而將此一般化到可數無限狀態空間是由柯爾莫果洛夫在2023年給出的。

馬爾可夫鏈與布朗運動以及遍歷假說這兩個二十世紀初期物理學重要課題是相聯絡的，但馬爾可夫尋求的似乎不僅於數學動機，名義上是對於縱屬事件大數法則的擴張。

馬爾可夫鏈是滿足下面兩個假設的一種隨機過程：

1、t+l時刻系統狀態的概率分布只與t時刻的狀態有關，與t時刻以前的狀態無關；

2、從t時刻到t+l時刻的狀態轉移與t的值無關。乙個馬爾可夫鏈模型可表示為=(s，p，q)，其中各元的含義如下：

1）s是系統所有可能的狀態所組成的非空的狀態集，有時也稱之為系統的狀態空間，它可以是有限的、可列的集合或任意非空集。本文中假定s是可數集(即有限或可列)。用小寫字母i,j(或si,s

j)等來表示狀態。

2）ij表示系統在時刻t處於狀態i，在下一時刻t+l處於狀態i的概率，n是系統所有可能的狀態的個數。對於任意i∈s，有

3）i是系統在初始時刻處於狀態i的概率，滿足

[ 編輯]

馬爾可夫鏈是由乙個條件分布來表示的

p(xn + 1 | xn)

這被稱為是隨機過程中的「轉移概率」。這有時也被稱作是「一步轉移概率」。二、三，以及更多步的轉移概率可以導自一步轉移概率和馬爾可夫性質：

同樣：

這些式子可以通過乘以轉移概率並求k−1次積分來一般化到任意的將來時間n+k。

邊際分布p(x

n)是在時間為n時的狀態的分布。初始分布為p(x

0)。該過程的變化可以用以下的乙個時間步幅來描述：

這是frobenius-perron equation的乙個版本。這時可能存在乙個或多個狀態分布π滿足：

其中y只是為了便於對變數積分的乙個名義。這樣的分布π被稱作是「平穩分布」（stationary distribution）或者「穩態分布」（steady-state distribution）。乙個平穩分布是乙個對應於特徵根為1的條件分布函式的特徵方程。

平穩分布是否存在，以及如果存在是否唯一，這是由過程的特定性質決定的。「不可約」是指每乙個狀態都可來自任意的其它狀態。當存在至少乙個狀態經過乙個固定的時間段後連續返回，則這個過程被稱為是「週期的」。

馬爾可夫隨機場簡介

馬爾可夫一般是馬爾可夫性質的簡稱。它指的是乙個

隨機變數序列按時間先後關係依次排開的時候，第n+1時刻的分布特性，與n時刻以前的隨機變數的取值無關。拿天氣來打個比方。如果我們假定天氣是馬爾可夫的，其意思就是我們假設今天的天氣僅僅與昨天的天氣存在概率上的關聯，而與前天及前天以前的天氣沒有關係。其它如傳染病和謠言的傳播規律，就是馬爾可夫的。

隨機場包含兩個要素：位置（site），相空間（phase space）。當給每乙個位置中按照某種分布隨機賦予相空間的乙個值之後，其全體就叫做隨機場。我們不妨拿種地來打個比方。「位置」好比是一畝畝農田；「

相空間」好比是種的各種莊稼。我們可以給不同的地種上不同的莊稼，這就好比給隨機場的每個「位置」，賦予相空間裡不同的值。所以，俗氣點說，隨機場就是在哪塊地里種什麼莊稼的事情。