資訊理論與編碼

資訊理論研究資訊的度量，內容主要圍繞夏農三大定理展開，研究在不許失真的情況下資訊傳輸率的極限值，以及給定信源且允許一定失真的條件下資訊速率極限值，並研究在誤位元速率小於給定值的條件下如何最有效地利用通道的傳輸能力。

編碼是後人沿著夏農指明的可行方向，為尋求有效而可靠的編譯方法而發展起來的一門學科，主要研究在有噪通道條件下各種可行的編碼方案及實施技術。

自資訊量

互資訊量

資訊熵

熵函式的性質

平均互資訊量性質

無失真編碼不改變信源的熵.

碼的分類

信源編碼可看作信源符號集(訊息)到碼符號集的一種對映,碼字是碼符號的組合;課程內只討論唯一可解碼(唯一可解碼可保證無差錯編碼).

資訊傳輸速率

等長編碼定理和變長編碼定理

三種常用變長碼編碼方法

通道編碼是為了抵抗通道干擾提高可靠性而進行的處理和變換,如差錯控制編碼,最簡單的如"重複編碼,擇多解碼".

通道容量

i(x;y)是平均每個碼元的資訊量,對於無擾通道有i(x;y)=h(x);通道容量c是保證可靠通訊下通道所能容納的最大資訊傳輸量,對於固定通道,通道容量是乙個定值;若要達到通道容量,信源分布(通道輸入概率)須滿足一定條件.

通道編碼定理(夏農第二定理)

率失真編碼定理(夏農第三定理)