公式：
以單個樣本舉例：假設a=σ(z), where z=wx+b
利用sgd演算法優化損失函式，通過梯度下降法改變引數從而最小化損失函式：
鏈式原則對兩個引數權重和偏置進行求偏導：
mse作為畫素級的損失函式，只考慮了畫素之前的差距，而並沒有考慮整張影象的特徵分布，比如在影象超解析度任務中，可能得到很高的psnr值，但是並不符合我們人的視覺高觀，細節紋理很多資訊都被破壞了。
那我覺得關鍵問題是如何把影象原始特徵分布考慮進去呢？我反正沒有看見有關文獻對mse本身演算法進行改進，更多的用一些巧勁避過這個問題，比如perceptual losses，雖然確實有效！能不能對mse做乙個推演呢，對計算mse的步驟進行改進，比如最終求和的步驟，能不能用別的方式代替求和呢？比如縮放到一致尺度後，求其方差，從而得到最終loss。一定覺得我在鬼扯吧，hhh，琢磨一下我覺得可行，雖然我沒有試驗過，將來有機會做一些小實驗，再繼續更新。
第二個sharpen在半監督學習中常用，用來增強無標籤資料的**自信度。當t趨於0的時候，增強後的概率分布就變成了one-hot的編碼。很顯然，這個一定要正樣本才可以使用。
那我有乙個想法，負樣本為什麼不能用呢。對不在**類別中的負樣本，我希望能夠降低自信度，從而讓最後**結果趨於平均分布，這能不能間接增強我對目標類別的學習能力呢。hhh可以實時哦，同樣，等以後有時間了做完實驗繼續更新！
好了，都是我的一頓瞎扯。嘿嘿嘿嘿嘿。
關於損失函式的一些思考
損失函式一般有四種形式 0 1 平方 l2 絕對值 l1 對數 其中平方與絕對值是適用與所有metric情形的 比如最小二乘 本質是找個線性流形去投影 和knn 區別在於最小二乘規定了線性可分假設，knn則是區域性的乙個constant function 0 1是最一般的形式 但也可以用於metri...
關於A Softmax損失函式的一些解釋
關於a softmax具體內容請參考 sphereface deep hypersphere embedding for face recognition by weiyang liu,yandong wen,zhiding yu,ming li,bhiksha raj and le song。關於...
pycuda 一些計算函式
評估gpuarray例項上涉及的表示式可能有些低效，因為為每個中間結果建立了乙個新的臨時表。模組pycuda.elementwise中的功能包含有助於生成核心的工具，這些核心在一次傳遞中評估乙個或多個運算元上的多階段表示式。classpycuda.elementwise.elementwiseker...