前面介紹的馬爾科夫鏈是一種狀態序列，但在實際中，各個事物之間不僅使用鏈序列起來的，而是互相交叉，錯綜複雜。因此通過各個事物之間的聯絡，可以將馬爾科夫鏈推廣至圖論中。
使用貝葉斯網路首先就要確定其結構，對簡單網路，專家可以直接給出；對於複雜的網路就需要機器學習了。
優化的貝葉斯網路要保證其產生的序列從頭到尾可能性最大，如果使用概率度量，那就是後驗概率最大。但是產生乙個序列可以有多條路徑，從理論上講，需要完備搜尋，考慮每一條路徑，得到全域性最優。但這樣計算的複雜度是np-hard。因此一般採用貪心演算法，每次沿著箭頭走有限步，但這樣容易陷入區域性最優。乙個防止區域性最優的演算法就是蒙特卡洛方法，用許多隨機數測試，看看是否顯然區域性最優。這個方法的計算量較大，最近的新方法是計算節點兩兩之間的互資訊，只保留互資訊較大的直接連線，簡化網路後再完備搜尋。
在確定網路結構後就需要確定節點間的權重，假設使用條件概率來度量權重，那就需要訓練資料，使得網路在這些觀察到的資料上概率最大，即em過程。
需指明結構的訓練和引數的訓練是交替進行的，先優化引數，再優化結構，然後再次優化引數，直到模型收斂，或誤差足夠小。
《數學之美》馬爾科夫鏈的擴充套件 貝葉斯網路
1.使用貝葉斯網路需要首先確定此網路的拓撲結構，並且還要知道各個狀態之間相關的概率，即拓撲結構和這些引數的過程稱為結構訓練和引數訓練。2.結構訓練 優化的貝葉斯網路結構要保證它產生的序列從頭到尾的可能性最大，即後驗概率最大。當然，產生乙個序列可以有多條路徑，從理論上講，需要完備的搜尋，即考慮每一條路...
馬爾科夫鏈與吉布斯抽樣
gibbs抽樣方法是 markov chain monte carlo mcmc 方法的一種，也是應用最為廣泛的一種。wikipedia稱gibbs抽樣為 in statistics and in statistical physics gibbs samplingor agibbs sampler...
馬爾科夫鏈中的應用
若每年要統計乙個城市極其郊區人口，像 可以顯示60 住城市，40 住郊區，加起來是1 具有這種特性的向量稱為 概率向量 隨機矩陣是各列都是這樣的向量組成的方陣 馬爾科夫鏈是乙個概率向量序列 和乙個隨機矩陣p 例1 城市與郊區之間移動模型 隨機矩陣 即每年有5 的城市人口流到郊區，3 的郊區人口留到城...