資訊理論背後的思想：一件不太可能的事件比一件比較可能的事件更有資訊量。
資訊 (information) 需要滿⾜的三個條件：
• ⽐較可能發⽣的事件的資訊量要少。
• ⽐較不可能發⽣的事件的資訊量要⼤。
• 獨⽴發⽣的事件之間的資訊量應該是可以疊加的。例如，投擲的硬幣兩次正⾯朝上傳遞的資訊量，應該是投擲⼀次硬幣正⾯朝上的資訊量的
自資訊 (self-information)：對事件 x = x，我們定義：
⾃資訊滿⾜上⾯三個條件，單位是奈特 (nats) （底為 e）
夏農熵 (shannon entropy)：上述的⾃資訊只包含⼀個事件的資訊，⽽對於整個概率分布 p，不確定性可以這樣衡量：
也可以表⽰成 h§。⾹農熵是編碼原理中最優編碼長度。
多個隨機變數：
聯合熵 (joint entropy)：表⽰同時考慮多個事件的條件下（即考慮聯合分布概率）的熵。
• 條件熵 (conditional entropy)：表⽰某件事情已經發⽣的情況下，另外⼀件事情的熵。
互資訊 (mutual information)：表⽰兩個事件的資訊相交的部分。
資訊變差 (variation of information)：表⽰兩個事件的資訊不相交的部分。
資訊理論基礎
所謂的資訊，就是以前不知道現在知道的事實，如果某件事以前就知道，當別人再告訴你時，你會忽略，這件事對你的認知沒有任何影響，這就不叫資訊，反之，如果某件事以前你不知道，有人告訴你了，你現在知道了，那麼對你而言，這件事就是資訊。讓我們更進一步，看一件事帶來的資訊量的大小如何來度量。顧名思義，資訊量就是度...
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...
資訊理論學習
條件熵和聯合熵 h x y z h x z h y x,z h x,y z h x z h y x,z h x,y z h x z h y x,z 互資訊基本性質 對稱性x,y顛倒位置相等 非負性肯定大於等於零 級值性互資訊不可能比自身還大 可加性 例題題目 25個銅幣有一枚質量不同，通過天平最少能...