h(x)=- ∑ p(x)logp(x)資訊的大小跟隨機事件的概率有關。越小概率的事情發生了產生的資訊量越大，如湖南產生 的**了；越大概率的事情發生了產生的資訊量越小，如太陽從東邊公升起來了（肯定發生嘛，沒什麼資訊量）。b、由於 x，y 是倆個不相關的事件，那麼滿足 p(x,y) = p(x)*p(y).
c、根據上面推導，我們很容易看出 h(x)一定與 p(x)的對數有關（因為只有對數形式的真數相乘 之後，能夠對應對數的相加形式，可以試試）**或參考：一看就懂的資訊熵 - jiangxiaokun -
資訊熵：
（看之前可以了解一下資訊熵的創始人：克勞德·艾爾伍德·夏農（claude elwood shannon ，2023年4月30日—2023年2月24日））
先給出資訊熵的公式：
首先了解一下資訊量：資訊量是對資訊的度量，就跟時間的度量是秒一樣，當我們考慮乙個離散的隨機變數 x 的時候，當我們觀察到的這個變數的乙個具體值的時候，我們接收到了多少資訊呢？
多少資訊用資訊量來衡量，我們接受到的資訊量跟具體發生的事件有關。
資訊的大小跟隨機事件的概率有關。越小概率的事情發生了產生的資訊量越大，如湖南產生 的**了；越大概率的事情發生了產生的資訊量越小，如太陽從東邊公升起來了（肯定發生嘛， 沒什麼資訊量）。這很好理解！
因此乙個具體事件的資訊量應該是隨著其發生概率而遞減的，且不能為負。但是這個表示信 息量函式的形式怎麼找呢？隨著概率增大而減少的函式形式太多了！不要著急，我們還有下 面這條性質。
如果我們有倆個不相關的事件 x 和 y，那麼我們觀察到的倆個事件同時發生時獲得的資訊應 該等於觀察到的事件各自發生時獲得的資訊之和，即：h(x,y) = h(x) + h(y)
由於 x，y 是倆個不相關的事件，那麼滿足 p(x,y) = p(x)*p(y).
根據上面推導，我們很容易看出 h(x)一定與 p(x)的對數有關（因為只有對數形式的真數相乘 之後，能夠對應對數的相加形式，可以試試）。因此我們有資訊量公式如下：
資訊熵 一看就懂
先給出資訊熵的公式 首先了解一下資訊量 資訊量是對資訊的度量，就跟時間的度量是秒一樣，當我們考慮乙個離散的隨機變數 x 的時候，當我們觀察到的這個變數的乙個具體值的時候，我們接收到了多少資訊呢？多少資訊用資訊量來衡量，我們接受到的資訊量跟具體發生的事件有關。資訊的大小跟隨機事件的概率有關。越小概率的...
一看就懂的SwitchHosts
switchhosts 是乙個管理 切換多個 hosts 方案的工具。它是乙個免費開源軟體。日常開發工作中，我們可能經常需要切換各種 hosts 繫結，比如在本地開發時可能需要乙個開發環境的 hosts 繫結方案，發布到測試環境後又有乙個測試環境的 hosts 繫結方案，然後可能還有乙個預發布環境，...
一看就懂TCP 連線
我們先來看乙個定義。這樣理解比較抽象。我們換個角度。它的本質還是傳輸控制。如果讓我們自己設計這個傳輸，我們會怎麼想呢。tcp 協議它會先建立連線。三次握手目的是保證雙方都有傳送和接收的能力 首要原因是為了防止舊的重複連線初始化造成混亂。同步雙方初始序列號客戶端和服務端都處於 closed 狀態。先是...