衡量兩個概率分布之間的差異性的指標

總結一下衡量兩個概率分布之間的差異性的指標，這裡只是簡單涉及到了kl散度、js散度、交叉熵和wasserstein距離

kl散度又稱為相對熵，資訊散度，資訊增益。

定義：kl散度是是兩個概率分布 ? 和 ? 之間差別的非對稱性的度量，kl散度是用來度量使用基於 ? 的編碼來編碼來自 ? 的樣本平均所需的額外的位元數。 典型情況下，? 表示資料的真實分布，? 表示資料的理論分布，模型分布，或 ? 的近似分布。

定義式：

因為對數函式是凸函式，所以kl散度的值為非負數。

注意

定義：js散度度量兩個概率分布的相似度，基於kl散度的變體，解決了kl散度非對稱的問題。一般地，js散度是對稱的，其取值是 0 到 1 之間。定義如下：

注意

kl散度和js散度度量的時候有乙個問題：

如果兩個分配 ?,? 離得很遠，完全沒有重疊的時候，那麼kl散度值是沒有意義的，而js散度值是乙個常數。這在學習演算法中是比較致命的，這就意味這這一點的梯度為 0。梯度消失了。

定義：在神經網路中，交叉熵可以作為損失函式，因為它可以衡量p和q的相似性。

交叉熵和相對熵的關係：

定義

參考wgan，真實資料與生成資料的概率分部距離

衡量兩個概率分布之間的差異性的指標

總結一下衡量兩個概率分布之間的差異性的指標，這裡只是簡單涉及到了kl散度 js散度 交叉熵和wasserstein距離 kl散度又稱為相對熵，資訊散度，資訊增益。定義 kl散度是是兩個概率分布 p和 q之間差別的非對稱性的度量，kl散度是用來度量使用基於 q 的編碼來編碼來自 p 的樣本平均所需的額...

KL距離（衡量兩個概率分布的差異情況）

kl距離，是kullback leibler差異 kullback leibler divergence 的簡稱，也叫做相對熵 relative entropy 它衡量的是相同事件空間裡的兩個概率分布的差異情況。kl距離全稱為kullback leibler divergence，也被稱為相對熵。公...

SVN匯出兩個版本之間的差異檔案

例如你上一次部署的版本是r20，你今次想部署的版本是r30，但是你只需要更新r30與r20版本之間的不同的檔案，就是兩個版本之間的差異檔案，那麼使用tortoisesvn可以很容易的做到這個事情。先選擇showlog檢視修改記錄，然後選擇你要比較的兩個版本，然後按右鍵選 compare revisi...