js散度全稱jensen-shannon散度，我們這裡簡稱js散度。在概率統計中，js散度也與前面提到的kl散度一樣具備了測量兩個概率分布相似程度的能力，它的計算方法基於kl散度，繼承了kl散度的非負性等，但有一點重要的不同，js散度具備了對稱性。
js散度的公式如下，我們設定兩個概率分布為p和q，另外我們還設定m = 0.5 * （p + q），kl為kl散度公式。
kl散度相關知識見這篇文章：數學基礎_概率論基礎_kl散度 jsd
(p∣∣
q)=1
2kl(
p∣∣m
)+12
kl(q
∣∣m)
jsd(p||q) = \frackl(p||m) + \frackl(q||m)
jsd(p∣
∣q)=
21k
l(p∣
∣m)+
21k
l(q∣
∣m)如果我們把kl散度公式打入展開的話，結果如下所示：
j sd
(p∣∣
q)=∫
p(x)
logp(
x)p(
x)+q
(x)2
dx+∫
q(x)
logq(
x)p(
x)+q
(x)2
dx
jsd(p||q) = \int p(x)\log \frac} dx+ \int q(x)\log \frac}dx
jsd(p∣
∣q)=
∫p(x
)log2p
(x)+
q(x)
p(x
)dx
+∫q(
x)log2p(
x)+q
(x)
q(x)dx
概率論基礎
概率論 第一章 隨機事件及其概率 分為兩類 1.確定性現象 2.隨機現象 1.1隨機事件及其運算 1.隨機試驗與樣本空間 隨機試驗具有下列三個特徵 1 試驗可在相同條件下重複進行 2 試驗的結果不止乙個 3 每次實驗之前，不能判定哪乙個結果將會出現 用e表示隨機試驗。試驗e中的每乙個可能結果稱為基本...
概率論基礎概念
基礎概念 比如篩子一共有6個數字，樣本空間就是 如果連續拋三次，樣本空間的大小就是 當然還有連續的樣本空間比如 拋篩子結果為1的事件 拋篩子結果為6的事件，稱之為基本隨機事件。在這些基本隨機事件的基礎之上，可以進行任意組合，稱之為復合隨機事件。在基本隨機事件中，產生的結果都是樣本空間中的乙個元素 而...
概率論複習 基礎概率分布
概率論複習 基礎概率分布 發現對概率論的基本概念理解不是很深入，導致看後面的東西時常有些莫名其妙的疑惑，回頭來看看概率論與統計 cdf其定義為 f x x p x x 正如統計學完全教程裡說的，這個cdf函式是很有迷惑性的，有必要仔細理解它。我以前每次看這個表示式都是一閃而過，沒有好好理解，而它的真...