相對熵（relative entropy）又稱為kl散度（kullback–leibler divergence，簡稱kld），資訊散度（information divergence），資訊增益（information gain）。
kl散度是兩個概率分布p和q差別的非對稱性的度量。
kl散度是用來度量使用基於q的編碼來編碼來自p的樣本平均所需的額外的位元個數。 典型情況下，p表示資料的真實分布，q表示資料的理論分布，模型分布，或p的近似分布。
根據shannon的資訊理論，給定乙個字符集的概率分布，我們可以設計一種編碼，使得表示該字符集組成的字串平均需要的位元數最少。假設這個字符集是x，對x∈x，其出現概率為p(x)，那麼其最優編碼平均需要的位元數等於這個字符集的熵：
h(x)=∑x∈xp(x)log[1/p(x)]
在同樣的字符集上，假設存在另乙個概率分布q(x)。如果用概率分布p(x)的最優編碼（即字元x的編碼長度等於log[1/p(x)]），來為符合分布q(x)的字元編碼，那麼表示這些字元就會比理想情況多用一些位元數。kl-divergence就是用來衡量這種情況下平均每個字元多用的位元數，因此可以用來衡量兩個分布的距離。即：
dkl(q||p)=∑x∈xq(x)[log(1/p(x))] - ∑x∈xq(x)[log[1/q(x)]]=∑x∈xq(x)log[q(x)/p(x)]
由於-log(u)是凸函式，因此有下面的不等式
dkl(q||p) = -∑x∈xq(x)log[p(x)/q(x)] = e[-logp(x)/q(x)] ≥ -loge[p(x)/q(x)] = - log∑x∈xq(x)p(x)/q(x) = 0
即kl-divergence始終是大於等於0的。當且僅當兩分布相同時，kl-divergence等於0。
舉乙個實際的例子吧：比如有四個類別，乙個方法a得到四個類別的概率分別是0.1,0.2,0.3,0.4。另一種方法b（或者說是事實情況）是得到四個類別的概率分別是0.4,0.3,0.2,0.1,那麼這兩個分布的kl-distance(a,b)=0.1*log(0.1/0.4)+0.2*log(0.2/0.3)+0.3*log(0.3/0.2)+0.4*log(0.4/0.1)
這個裡面有正的，有負的，可以證明kl-distance()>=0.
從上面可以看出， kl散度是不對稱的。即kl-distance(a,b)!=kl-distance(b,a)
kl散度是不對稱的，當然，如果希望把它變對稱，
ds(p1, p2) = [d(p1, p2) + d(p2, p1)] / 2.
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反之就越高。下面是熵的定義
如果乙個隨機變數
有了資訊熵的定義，接下來開始學習相對熵。
1. 相對熵的認識
相對熵又稱互熵，交叉熵，鑑別資訊，kullback熵，kullback-leible散度（即kl散度）等。設
是
在一定程度上，熵可以度量兩個隨機變數的距離。kl散度是兩個概率分布p和q差別的非對稱性的度量。kl散度是
用來度量使用基於q的編碼來編碼來自p的樣本平均所需的額外的位元數。 典型情況下，p表示資料的真實分布，q
表示資料的理論分布，模型分布，或p的近似分布。
2. 相對熵的性質
相對熵（kl散度）有兩個主要的性質。如下
（1）儘管kl散度從直觀上是個度量或距離函式，但它並不是乙個真正的度量或者距離，因為它不具有對稱性，即
（2）相對熵的值為非負值，即
在證明之前，需要認識乙個重要的不等式，叫做吉布斯不等式。內容如下:
3. 相對熵的應用
相對熵可以衡量兩個隨機分布之間的距離，當兩個隨機分布相同時，它們的相對熵為零，當兩個隨機分布的差別增
大時，它們的相對熵也會增大。所以相對熵（kl散度）可以用於比較文字的相似度，先統計出詞的頻率，然後計算
kl散度就行了。另外，在多指標系統評估中，指標權重分配是乙個重點和難點，通過相對熵可以處理。
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...