本科時就選修了「資訊理論與編碼」這門課。當時用的書是傅祖芸主編的《資訊理論:基礎理論與應用》(第2版)。不知道是不是因為版次太早，書中小錯誤很多，例如把「i」錯寫為「j」等等。除此之外，倒還不錯，可惜當時忙於考研，沒學透徹。
到了研究生時，「資訊理論與編碼」是必修課，指定教材是授課老師沈某某的自己編的。實話說，對這本指定教材失望透頂。概念不清，邏輯混亂，許多重要內容書中根本沒有。靠這種爛書是學不好資訊理論與編碼的。但是傅祖芸的《資訊理論:基礎理論與應用》落在家裡忘帶了。郵寄到學校又不值。無奈又買了一本thomas m.cover、joy a.thomas的《資訊理論基礎》（原書第二版的譯著，機械工業出版社）。感覺此書確實很不錯，不愧為經典教材。讀不懂指定教材時，就去查這本書，頗有醍醐灌頂之感。
現在又遇到乙個新問題：《資訊理論基礎》中只對通道編碼做了簡要的介紹。而我學習的課程「資訊理論與編碼」中通道編碼的地位非常重要。從網上找的關於通道編碼的課件、資料都雞零狗碎不成體系。難道我要買第四本教材了嗎？
資訊理論與編碼
資訊理論研究資訊的度量，內容主要圍繞夏農三大定理展開，研究在不許失真的情況下資訊傳輸率的極限值，以及給定信源且允許一定失真的條件下資訊速率極限值，並研究在誤位元速率小於給定值的條件下如何最有效地利用通道的傳輸能力。編碼是後人沿著夏農指明的可行方向，為尋求有效而可靠的編譯方法而發展起來的一門學科，主要...
資訊理論與編碼 01 資訊的概念
從現實世界到資訊世界 資訊 日常生活中，我們很少刻意區分資訊和訊息。人五官所感所得，皆可被我們歸為資訊，且核心在於資訊在自然世界與人之間傳輸，被我們主觀意識所捕獲的那個get的瞬間。如果要加以區分。資訊不等同於情報 資訊不等同於知識 資訊不等同於訊息 資訊不等同於訊號 資訊 訊息 訊號 將客觀物質運...
熵與資訊理論
假設任何檔案都可以被壓縮到 n 個二進位制位 bit 那麼其最多可以表示 2n 個不同的壓縮結果。也即，如果存在 2n 1個檔案，根據鴿籠原理，必然至少有兩個檔案得到同一壓縮效果。這就意味著，這兩個檔案不可能都無損地還原。因此，可以得出乙個相對抽象的結論，並非所有檔案都可以被壓縮到 n 個bit 位...