1、jensen不等式
jensen不等式表述如下：如果f是凸函式，x是隨機變數，那麼
特別地，如果f是嚴格凸函式，那麼
e[f(x)]>f(e[x])
當且僅當p(x=e(x))=1，也就是說x是常量。
2、unet結構，卷積的三種模式:full, same, valid ，其實這三種不同模式是對卷積核移動範圍的不同限制。
3、在概率論或資訊理論中，kl散度( kullback–leibler divergence)，又稱相對熵（relative entropy)，是描述兩個概率分布p和q差異的一種方法。它是非對稱的，這意味著d(p||q) ≠ d(q||p)。特別的，在資訊理論中，d(p||q)表示當用概率分布q來擬合真實分布p時，產生的資訊損耗，其中p表示真實分布，q表示p的擬合分布。有人將kl散度稱為kl距離，但事實上，kl散度並不滿足距離的概念，應為:1）kl散度不是對稱的；2）kl散度不滿足三角不等式。對乙個離散隨機變數或連續的隨機變數的兩個概率分布p和q來說，kl散度的定義分別如下所示。
kl散度在資訊理論中有自己明確的物理意義，它是用來度量使用基於q分布的編碼來編碼來自p分布的樣本平均所需的額外的bit個數。而其在機器學習領域的物理意義則是用來度量兩個函式的相似程度或者相近程度，在泛函分析中也被頻繁地用到[2]。在夏農資訊理論中，用基於p的編碼去編碼來自p的樣本，其最優編碼平均所需要的位元個數（即這個字符集的熵）為：
用基於p的編碼去編碼來自q的樣本，則所需要的位元個數變為：
於是，我們即可得出p與q的kl散度
可以利用jensen不等式證明p與q之間的kl散度不小於0：
記錄知識點
03d 輸出三位寬度的整數，不足時前補0 3d 輸出三位寬度的整數，不足時後補空格 3d 輸出三位寬度的整數，不足時前補空格 d 輸出整數 未指定寬度，以實際寬度輸出 floor x 為1的值範圍是 1,2 而floor x 0.5 為1的範圍是 0.5,1.5 四捨五入 c語言函式總結大全 例如 ...
知識點記錄
資料結構與演算法 目的就是 達到 速度快和空間省 時間複雜度 細緻分析每一行 執行的次數，核心 執行次數的 n 的量級，就是整段要分析 的時間複雜度 加法法則 乘法法則 巢狀迴圈 複雜度量級，我們可以粗略地分為兩類，多項式量級和非多項式量級。其中，非多項式量級只有兩個 o 2n 和 o n 當資料規...
知識點記錄
各種排序演算法複雜度 比較相鄰的元素，如果第乙個比第二個大，就交換它們兩個。重複執行。對每一對相鄰元素作同樣的工作，從開始第一對到結尾的最後一對，這樣在最後的元素應該會是最大的數 首先在未排序序列中找到最小 大 元素，存放到排序序列的起始位置，然後，再從剩餘未排序元素中繼續尋找最小 大 元素，然後放...