@從現實世界到資訊世界：資訊
日常生活中，我們很少刻意區分資訊和訊息。人五官所感所得，皆可被我們歸為資訊，且核心在於資訊在自然世界與人之間傳輸，被我們主觀意識所捕獲的那個get的瞬間。
如果要加以區分。
資訊不等同於情報；
資訊不等同於知識；
資訊不等同於訊息；
資訊不等同於訊號；
資訊、訊息、訊號
將客觀物質運動和主觀思維活動的狀態以人所能感知的形式（如: 文字、影象、符號、資料、語言、音訊等等）表達出來，稱其為訊息。
對事物運動狀態或存在方式不確定性的描述，稱為資訊。
而，把訊息變換成適合通道傳輸的物理量，稱這種物理量為訊號。
物理 & 具體
訊息是物理，非具體的形態；
訊號是物理，具體的形態；
資訊是非物理，非具體的形態。
全資訊全資訊是人們對客觀世界的運動規律和存在狀態的認識結果。
後續將要討論的熵表示的是語法資訊。
資訊理論與編碼
資訊理論研究資訊的度量，內容主要圍繞夏農三大定理展開，研究在不許失真的情況下資訊傳輸率的極限值，以及給定信源且允許一定失真的條件下資訊速率極限值，並研究在誤位元速率小於給定值的條件下如何最有效地利用通道的傳輸能力。編碼是後人沿著夏農指明的可行方向，為尋求有效而可靠的編譯方法而發展起來的一門學科，主要...
熵與資訊理論
假設任何檔案都可以被壓縮到 n 個二進位制位 bit 那麼其最多可以表示 2n 個不同的壓縮結果。也即，如果存在 2n 1個檔案，根據鴿籠原理，必然至少有兩個檔案得到同一壓縮效果。這就意味著，這兩個檔案不可能都無損地還原。因此，可以得出乙個相對抽象的結論，並非所有檔案都可以被壓縮到 n 個bit 位...
資訊理論 資訊的度量
概述 資訊使用來消除不確定性的東西 資訊不等於訊息，訊息只是資訊的載體 度量 資訊的大小是由資訊消除的不確定性的大小決定的 中國男子桌球隊獲得冠軍與中國男子足球隊獲得冠軍的資訊量完全不同 事件1的不確定性為i p1 p1為事件1的先驗概率 資訊a消除的不確定性為i p2 則獲取資訊a後事件1的不確定...