相對熵(KL散度)

2021-06-29 09:37:38 字數 1376 閱讀 9080

今天開始來講相對熵,我們知道資訊熵反應了乙個系統的有序化程度,乙個系統越是有序,那麼它的資訊熵就越低,反

之就越高。下面是熵的定義

如果乙個隨機變數

有了資訊熵的定義,接下來開始學習相對熵。

contents

1. 相對熵的認識

2. 相對熵的性質

3. 相對熵的應用

1. 相對熵的認識

相對熵又稱互熵,交叉熵,鑑別資訊,kullback熵,kullback-leible散度(即kl散度)等。設

是個概率概率分布,則

在一定程度上,熵可以度量兩個隨機變數的距離。kl散度是兩個概率分布p和q差別的非對稱性的度量。kl散度是 用來

度量使用基於q的編碼來編碼來自p的樣本平均所需的額外的位元數。 典型情況下,p表示資料的真實分布,q

表示資料

的理論分布,模型分布,或p的近似分布。

2. 相對熵的性質

相對熵(kl散度)有兩個主要的性質。如下

(1)儘管kl散度從直觀上是個度量或距離函式,但它並不是乙個真正的度量或者距離,因為它不具有對稱性,即

(2)相對熵的值為非負值,即

在證明之前,需要認識乙個重要的不等式,叫做吉布斯不等式。內容如下

3. 相對熵的應用

相對熵可以衡量兩個隨機分布之間的距離,當兩個隨機分布相同時,它們的相對熵為零,當兩個隨機分布的差別增 大

時,它們的相對熵也會增大。所以相對熵(kl散度)可以用於比較文字的相似度,先統計出詞的頻率,然後計算

kl散度就行了。另外,在多指標系統評估中,指標權重分配是乙個重點和難點,通過相對熵可以處理。

在julia中,有乙個kldivergence包,用來計算兩個分布之間的k-l距離,它需要依賴distributions包,用 法

詳見:

相對熵(KL散度)

今天開始來講相對熵,我們知道資訊熵反應了乙個系統的有序化程度,乙個系統越是有序,那麼它的資訊熵就越低,反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義,接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵,...

相對熵(KL散度)

今天開始來講相對熵,我們知道資訊熵反應了乙個系統的有序化程度,乙個系統越是有序,那麼它的資訊熵就越低,反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義,接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵,...

KL 散度 相對熵

相對熵 relative entropy 又稱為kl散度 kullback leibler divergence,簡稱kld 資訊散度 information divergence 資訊增益 information gain kl散度是兩個概率分布p和q差別的非對稱性的度量。kl散度是用來度量使用基...