這篇部落格主要列個引導表，簡單介紹在深度學習演算法中損失函式可以改進的方向，並給出詳細介紹的部落格鏈結，會不斷補充。
1、large marge softmax loss
icml2016提出的large marge softmax loss（l-softmax）通過在傳統的softmax loss公式中新增引數m，加大了學習的難度，逼迫模型不斷學習更具區分性的特徵，從而使得類間距離更大，類內距離更小。核心內容可以看下圖：
詳細了解可以參看：損失函式改進之large-margin softmax loss
2、center loss
eccv2016提出的center loss是通過將特徵和特徵中心的距離和softmax loss一同作為損失函式，使得類內距離更小，有點l1，l2正則化的意思。核心內容如下圖所示：
詳細了解可以參看：損失函式改進之center loss
3、angular softmax loss
cvpr2017提出的a-softmax loss（angular softmax loss）用來改進原來的softmax loss，並將a-softmax loss用於人臉識別，這就是sphereface，作者還是large margin softmax loss的原班人馬。a-softmax loss簡單講就是在large margin softmax loss的基礎上新增了兩個限制條件||w||=1和b=0，使得**僅取決於w和x之間的角度。核心思想可以參看下面這個圖。
詳細了解可以參看：sphereface演算法詳解
4、focal loss
focal loss是facebook的rbg和kaiming大神在iccv2017的best *****，主要是改進了目標檢測（object detection）演算法的效果，在coco資料集上的ap和速度都有明顯提公升。核心思想在於概括了object detection演算法中proposal-free一類演算法準確率不高的原因在於：類別不均衡。於是在傳統的交叉熵損失上進行修改得到focal loss。
詳細了解可以參看：focal loss
5、additive angular margin loss
這篇文章提出一種新的用於人臉識別的損失函式：additive angular margin loss，基於該損失函式訓練得到人臉識別演算法arcface（或者叫insightface）。arcface的思想（additive angular margin）和sphereface（angular softmax loss）以及不久前的cosineface（additive cosine margin ）有一定的共同點，重點在於：在archface中是直接在角度空間（angular space）中最大化分類界限，而cosineface是在余弦空間中最大化分類界限，這也是為什麼這篇文章叫arcface的原因，因為arc含義和angular一樣。
公式如下：
損失函式改進方法總覽
這篇部落格主要列個引導表，簡單介紹在深度學習演算法中損失函式可以改進的方向，並給出詳細介紹的部落格鏈結，會不斷補充。1 large marge softmax loss icml2016提出的large marge softmax loss l softmax 通過在傳統的softmax loss公...
常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...
yolov3損失函式改進 yolov3 損失函式
yolov3 損失函式主要分為loss xy,loss wh,loss confidence,loss class loss xy darknet與kreas稍有不同。darknet是sse，kreas是二值交叉熵。一種解釋如下 bounding box回歸是square error loss，分類...