這個學期有一門叫做「資訊理論與編碼」的課程，上課老師是我們學院的副院長，姓華，他不幽默，但是課程內容安排得很有條理，一層一層深入，最後有總結和隨堂複習題，3節課下來學到很多。
這個星期一的晚上是本學期的第2次課，講起了entropy（熵），用符號
h 來表示，及其性質，課後的練習題裡來了這麼一道題目： 證明
: h(x
3|x1
x2)≤
h(x3
|x1)
這是兩個條件熵的比較，要證明首先要了解條件熵是什麼意思，我們先來看張圖：
熵是一種資訊的量度，條件熵 h(
x|y)
的意思是：
x 的資訊，在
y知道的情況下還剩多少；也就是說在
x 的方塊內割除與
y共有的部分。聯合熵就是把兩個部分作並集，全部放一起。
知道了這個以後再看要證明的式子就容易多了，在 x3
中除去 x1
x2剩下的當然是小於在 x3
中除去單一的 x1
剩下的，就像同一堆木頭，拿走的多，剩下的就少，拿走的少，剩下的就多。
當然，證明還是要用正規的數學語言去描述的，這裡就必須要借助乙個後面才會學到的知識，叫做「平均互資訊」，記為 i(
x;y)
名字有點奇怪，但它就是用來描述兩部分的交集的；平均互資訊有如下性質： i(
x;y)
=h(x
)−h(
x|y)
根據這個性質我們可以得出： h(
x3|x
1x2)
=h(x
3)−i
(x3;
x1x2
) 和 h
(x3|
x1)=
h(x3
)−i(
x3;x
1)被減數是一樣的，減數中 i(
x3;x
1x2)
≥i(x
3;x1
) 所以證明完成.
關於交叉熵
在資訊理論中可以根據夏農熵估計乙個字串中每個符號 s 編碼所需的最小位數，前提是每個字元出現的概率 p 是已知的 舉個例子 比如，這個單詞的夏農熵 每個字元在字串中出現的概率 pa pl pe 1 5 0.2 pl 25 0.4 資訊熵 h 3 0.2 l og2 0.2 0.4 l og2 0.4...
matlab練習程式（Renyi熵）
renyi熵是對通常的夏農熵的擴充套件，算是q階廣義熵。公式如下 其中p和夏農熵公式中的p一樣，是概率。當q 1時公式退化為夏農熵公式。如何證明？看wiki吧 有用此公式尋找影象 最佳二值化閾值的。首先定義前景區域a，背景區域b。那麼前景與背景區域畫素相應的renyi熵就如下定義 其中k是當前取的灰...
關於nim博弈的證明。
nim博弈我們大家都很熟悉，那麼為什麼nim博弈中石子數異或起來和為0就是先手必敗，非0就是先手必勝呢，想必大家都有過這個疑問。很多人都知道這個結論，但是卻很少人知道證明過程。其實nim博弈的證明過程是一種對稱博弈。我們知道如果異或和是0，先手必敗。考慮異或和是0的意義，異或和是0代表著對於所有石頭...