1、資訊與資料
資訊與資料雖然經常在一起使用，但其概念是不相同的，必須區別開來。資料是用來記錄和傳送資訊的，或者說資料是資訊的載體。真正有用的不是資料本身，而是資料所攜帶的資訊。傳輸資訊的過程中，需要作大量的資料處理。為此，大量的影象資料和語音資料在多**系統中如何儲存和傳輸，就成了多**技術最基本的問題，也是最大的難題之一。 無論是哪一種**，它們都承載了一定的資訊。按資訊理論創始人夏農（g.e.shannon）以概率論的觀點和方法進行定量化描述，則 資訊函式為：
i（ai）= - log2pi （i=1，2，3…，r）
其中，pi(i=1，2，……, r)表示隨機訊息集合x：中 訊息ai(i=1,2,……，r)的先驗概率。它可以度量ai (i=1,2……，r )所 含的資訊量。i（ai ）(i=1,2……，r)在x的先驗概率空間p：中的統計平均值：
h（x）=h =–
pilog2pi
（1）文字
設螢幕的解析度為768×512，字元大小為8×8點陣， 每個字元用兩個位元組表示，則滿屏字元的數量為： （768/8）×（512/8）=6144（個）
一屏文字需要的儲存空間（位元組）為： 6144×（2×8）=96kbit=12kb
（2）位圖
以乙個簡單的全屏位圖來看，設螢幕大小為 768×512，每點是256色，則儲存一屏點陣圖需要的空間為：
768×512 ×log2256 = 384kb （800 ×600 ×16/8 = 0.926mb
複雜的計算機真彩影象通常是由掃瞄器獲取的。如果要將一張 11英吋×8.5英吋的彩色**輸入計算機，掃瞄器的解析度設定為300dpi（點/英吋），每個畫素的r、g、b分量分別為8位，掃瞄 產生的就是24位的真彩圖，經掃瞄器數位化後的影象就要佔據 25.245mb的儲存空間。
（3）向量圖形
向量圖形所需的儲存空間是比較小的。例如，存 儲一幅由500條直線組成的向量圖形，也就是要儲存構造圖形的 線條信條，每條線的資訊可由起點x，起點y，終點x，終點y， 屬性等五個專案表示，其中屬性一項是指線的顏色和寬度等性 質。設螢幕大小為768×512，屬性位用1位元組表示，則每條線的 儲存空間為：
10×2+9×2+8=46bit
儲存這樣一幅圖形需要的空間為： 500×46≈2.3kb
（4）數位化聲音（語音）
聲音的模擬頻寬為4khz，取樣大小 是8bit，取樣頻率為8 khz，儲存ls這樣的聲音需要的空間為： 8×8=64kbit=8kb
（5）數位化高質量音訊
聲音的模擬頻寬為22 khz，取樣大小 是32bit，取樣頻率至少為44 khz。儲存ls這樣的數位化音訊需 要的空間為： 44×32=1408kbit=176kb
10÷25×24=9.6mbit=1.2mb
從以上多**資訊與資料量的關係可見，儲存數位化的多**資訊要求的儲存空間是很大的。再從資料傳輸的要求看，多**通訊系統對海量資訊的處理和傳送也受到計算機自身和傳輸線路等因素的限制。
一屏影象由奇數行和偶數行掃瞄產生，共中有240個奇數行和240 個偶數行，如果採用24位真彩顯示，則乙個ntsc制的滿屏需要： 720×（480/2）×24=4147200bit
要作實時傳送則每秒30幀對應著4147200×30=124416000bit/s的速率。假設傳輸通道的資料速率為7mbit/s，則需要的影象壓縮因 子為18：1。這就需要通過mpeg演算法作必要的壓縮。
可見，多**資訊面臨的最大難題之一是海量資料的問題， 資料壓縮將是解決問題的重要途徑。
3、傳輸多**資訊的資料率和頻寬
多**音訊資訊中4種等級的音訊資料率（未經壓縮）如下表4-1所示。
數字音訊的資料率
種類
取樣率位數/樣本
資料率（kb/s）
** 8864
**會議
1614
224雷射唱盤（cd-audio）
44.1
16705.6x2
數字音訊唱盤（dat）
4816
768數字電檢視像的資料率
種類
時空解析度
資料率(kb/s)
sif352x240x30
7.603
ccir
720x576x25
31.104
hdtv
1280x720x60
55.296
sif: soruce input forrmat
ccir: consulatative ***mittee international radio
hdtv: high definition television format
>>全彩色、全螢幕、全運動的高頻影象要求資料傳輸頻寬為300mb/s。
>>高質量音訊要求資料傳輸頻寬為176kb/s。
>>語音要求資料傳輸頻寬為8kb/s。
資訊熵，交叉熵和相對熵
怎樣去量化資訊？一些大牛對某些問題的見解，我們會說乾貨滿滿，就代表這個見解具有很大的資訊。對於一些不太確定的事，比如一場足球比賽的結果，會有勝平負三種情況，有不確定的情況，但如果某人有直接的內幕訊息，說這場主隊穩輸，因為 這樣的乙個資訊就具有很大的資訊量了，因為不確定的事情變得十分確定。如果有人告訴...
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...
熵和資訊增益
資訊理論中廣泛使用的乙個度量標準，稱為熵 entropy 它刻畫了任意樣例集的純度。給定包含關於某個目標概念的正反樣例的樣例集s，那麼s相對於這個布林型分類的熵為 其中，p 代表正樣例，比如p 則意味著去打羽毛球，而p 則代表反樣例，不去打球。注意 如果s的所有成員屬於同一類，那麼s的熵為0 如果集...