看了很多部落格，我發現它們都基本上是以乙個定義的形式，直接告訴我們（或者不提及）交叉熵它是恆大於等於0的，沒有解釋為什麼。
如果想要了解什麼是熵及變形總結，可以參考部落格：機器學習筆記十：各種熵總結,裡面講的非常詳細。
這裡要說的是交叉熵為什麼恆大於等於0
這裡我們首先要知道，交叉熵通常被用來解決分類問題
交叉熵公式：
h (p
,q)=
−∑xp
(x
)logq
(x).
\eta(p,q) = -\sum_x p(x) \log q(x)\,.
h(p,q)
=−x∑
p(x
)logq(
x).其中p(x)為真實概率分布，q(x)為**概率分布
以二分類為例，x為正類時p(x)值為1，則
h (p
,q)=
−1
∗logq
(x)−
0∗
logq(
x)=−
logq(
x)
.\eta(p,q) = - 1* \log q(x)-0* \log q(x)=- \log q(x)\,.
h(p,q)
=−1∗
logq(x
)−0∗
logq(x
)=−logq(
x).我們知道q(x)為**概率分布
0 ≤q
(x)≤
1.
0\leq q(x)\leq 1\,.
0≤q(x)
≤1.所以
h (p
,q)≥
0.
\eta(p,q) \ge 0\,.
h(p,q)
≥0.最後分享兩個latex公式符號對照部落格
latex各種符號
latex之希臘字母表 花體字母 實數集
理解交叉熵
首先說說概率論的期望值 期望 表示隨機變數的均值 如果變數滿足均勻分布，那麼期望 均值 比如拋硬幣問題 然後理解什麼是熵。熵 表示所有資訊量的期望，資訊量 log的底數是可以改變的，預設底數為2 我們說，概率越小，表示資訊量越大 比如中國隊進入世界盃決賽，這就是小概率事件，則資訊量大，熵也大 熵的定...
如何更好的理解交叉鏈結
交叉鏈結的基礎還是友情鏈結，但是普通的友情鏈結是兩個站之間交換鏈結，交叉鏈結三個站或者更多站交換。我們可以舉個例子來說明下這種鏈結的表示形式 比如我有兩個站a b，別人有乙個c站。用a站指向c站，再c站指向b站。這個就是簡單的交叉鏈結的交換形式。其實對於這些基本的概念大家也都可以隨意的去網上查詢的到...
對機器學習中資訊熵的理解 交叉熵損失函式
剛開始看id3 c4.5 cart等演算法時，不怎麼理解資訊熵，後來看了幾篇部落格時才發現可以拿來解釋我們常用的二分類損失函式。參考 資訊熵 l1 l2正則化與交叉熵 相對熵 機器學習 四 從資訊理論交叉熵的角度看softmax 邏輯回歸損失 資訊熵是拿來消除系統不確定性的，指代的是資訊的含量 資訊...