這一講研究的是獨立同分布的樣本空間。
首先定義樣本空間中某件事情的概率：
即組成成分的概率的和。（獨立性使然）
大數定理：
漸進均分性：
基於此，我們能推出
這個式子說明，n充分大時，p（x1,x2...xn）趨於1。
於是我們可以把所有事件分為兩類：概率小的和概率大的。
概率大的部分我們稱為典型集：
我們可以對典型集的元素個數估計：
其中3、4的證明（經典技巧）：
既然典型集的出現概率非常大，那麼在這個樣本空間裡其他發生概率的事件一定跟典型集交集很多，那麼其元素也會很多：
最後來看信源傳輸：
我們把樣本分成兩類：典型集和非典型集。
非典型集要n*log|x|+1的資訊量，典型集要n*(h+e)+1的資訊量（類似向上取整），然後再用1bit來分辨典型集和非典型集。
最後推出：
即這種編碼方式位元速率小於h（x）且可以在n充分大正確率趨於1。
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...
資訊理論基礎
所謂的資訊，就是以前不知道現在知道的事實，如果某件事以前就知道，當別人再告訴你時，你會忽略，這件事對你的認知沒有任何影響，這就不叫資訊，反之，如果某件事以前你不知道，有人告訴你了，你現在知道了，那麼對你而言，這件事就是資訊。讓我們更進一步，看一件事帶來的資訊量的大小如何來度量。顧名思義，資訊量就是度...
資訊理論學習
條件熵和聯合熵 h x y z h x z h y x,z h x,y z h x z h y x,z h x,y z h x z h y x,z 互資訊基本性質 對稱性x,y顛倒位置相等 非負性肯定大於等於零 級值性互資訊不可能比自身還大 可加性 例題題目 25個銅幣有一枚質量不同，通過天平最少能...