最近由於eva終劇場版出了，一直沒法集中注意力學習，上資訊理論與編碼的課時總是跑神，寫作業發現馬爾可夫信源的題不太會寫，手邊《概率導論》中正好有這部分內容，再和資訊理論課本對比後，總結了一些小知識點。馬爾科夫鏈的核心假設是只要時刻n的狀態為i，那麼下乙個時刻轉移的狀態j的概率一定為轉移概率pij。
轉移概率pij一定是非負的，且和為1。
要計算在當前狀態i下，未來狀態j的概率分布，這個概率稱為n步轉移概率，用c-k方程計算。
證明只需用全概率公式。
若n步轉移概率為正，則稱狀態i到狀態j是可達的，有點離散裡面的圖論的感覺。 令a(i)為所有i可達的狀態的集合，能從未來的某狀態回到i狀態，則定義i是常返的，則所有屬於a(i)的狀態j，i也屬於a(j)。資訊理論與編碼關心的是資訊的不確定性，在這部分中即關心馬爾可夫信源的信源熵。若乙個常返態被訪問一次，即能回訪無數次，只是概率大小的問題了。 若不是常返，則稱為非常返，只能回訪有限次。
意思同文字，經過多少步會回到原來狀態。
該部分其實與資訊理論關係不大，略。
我們知道在講離散多符號信源時定義了平均符號熵和極限熵用以表示信源的不確定性，馬爾可夫信源自然也需要關心極限熵。
我們希望n步轉移概率在n非常大時會漸進於某一固定值，而常返性和週期性會影響馬爾科夫鏈的收斂，對於資訊理論這門課的情況下，研究的是遍歷的馬爾科夫信源，所以最後可看作平穩信源，終將收斂，達到穩態，此時n步轉移概率即穩態概率。
即計算這塊的題必用的 wp = w，所求得的w即為穩態概率。
由上式可以求得穩態下的極限熵。
p(si)即為穩態概率，後面的是i狀態下的信源熵，馬爾科夫極限熵即為上式，表達的意思就是m階馬爾可夫信源輸出的每個符號的平均不確定性。
基本都是畫圖+算極限熵、冗餘度的題。
資訊理論與編碼
資訊理論研究資訊的度量，內容主要圍繞夏農三大定理展開，研究在不許失真的情況下資訊傳輸率的極限值，以及給定信源且允許一定失真的條件下資訊速率極限值，並研究在誤位元速率小於給定值的條件下如何最有效地利用通道的傳輸能力。編碼是後人沿著夏農指明的可行方向，為尋求有效而可靠的編譯方法而發展起來的一門學科，主要...
資訊理論與編碼 01 資訊的概念
從現實世界到資訊世界 資訊 日常生活中，我們很少刻意區分資訊和訊息。人五官所感所得，皆可被我們歸為資訊，且核心在於資訊在自然世界與人之間傳輸，被我們主觀意識所捕獲的那個get的瞬間。如果要加以區分。資訊不等同於情報 資訊不等同於知識 資訊不等同於訊息 資訊不等同於訊號 資訊 訊息 訊號 將客觀物質運...
我用過的資訊理論與編碼教材
本科時就選修了 資訊理論與編碼 這門課。當時用的書是傅祖芸主編的 資訊理論 基礎理論與應用 第2版 不知道是不是因為版次太早，書中小錯誤很多，例如把 i 錯寫為 j 等等。除此之外，倒還不錯，可惜當時忙於考研，沒學透徹。到了研究生時，資訊理論與編碼 是必修課，指定教材是授課老師沈某某的自己編的。實話...