1、如何度量兩個分布的相似度
kl散度，分布的對數差異的數學期望（兩個分布在所有取值上的加權平均）。
2、極大似然估計可以看作最小化模型分布的kl散度距離等價。
使得對數似然函式最大》等價轉換（引入負號)>引入常數項》相除形式》kl散度定義
3 、kl散度作為損失函式的模式塌陷問題：因為p(x)為其中乙個分布的加權，所以不具有對稱性，假設p(x) q(x)乙個為單峰、乙個為雙峰，用雙峰逼近的時容易忽視其中乙個。通常改用js散度。（假設10個模式，有可能只生成其中幾種模式，丟失其他模式）
4、gan的損失函式改進之一：加log。（雖然該方法在wgan中被批判），把目標函式的值域拉大。
5、在最優判別器下，gan定義的生成器loss可等價變換為最小化真實分布與生成分布之間的js散度。
（真、假樣本混合可以找出真的樣本）
6、推土機距離（絕妙，納什平衡依據）（最優路徑規劃最小消耗）（接近於連續，js、kl有突變、空間不要有懸崖）
1）取log的問題 導致沒有上界；判別器引數絕對值截斷（lipschitz連續)
2）解決訓練不穩定 （dc gan碰巧平衡生成、判別器）判別器過快最優，梯度為0
3）解決模型崩潰，生成多樣性。
4）gan最優判別器下，p(r)和g(g) 真實的分布和造出來的分布可能沒有重合，梯度消失
數學角度的GAN的改進方法
gan的discriminator評估的方式其實是計算p gp g pg 和pda ta p pd ata 的js散度。但是js 散度面對乙個問題 當兩個分布沒有重合，得到的js散度就是log 2log2 log2 同時之前從散度角度理解gan，使用js散度還面臨mode collapse和mode...
endeca 引擎搜尋的優點與弱點
endeca作為乙個企業級的搜尋工具，有它的優點，也有弱點。優點 效能和穩定性都很好，當有兩個dgraph在執行的時候，每秒可以處理上百個請求。endeca的過濾 refinement 功能也做的不錯。弱點 由於baseline是離線工作的，這個優點也造就了乙個缺點，那就是當endeca在新舊ind...
Normal Equations 的由來與推導
假設我們有m個樣本。特徵向量的維度為n。因此，可知樣本為,其中對於每乙個樣本中的x i 都有x i 令 h 0 1x 1 2x 2 nx n，則有 這個很好示意，但是維度標記錯誤了。x 是 m n 1 維，包含 0為 n 1 1 維。若希望h y，則有 x y 我們先來回憶一下兩個概念 單位矩陣 和...