Focal Loss理解補充

2021-10-06 20:45:25 字數 449 閱讀 1582

閱讀此博文的基礎上有部分存疑的地方,做了補充。原文寫的很好,建議閱讀。

原博:個人理解補充部分

1.gamma作用是調節難易,alpha作用是平衡正負樣(正負樣本數量不均衡)。

2.gamma作用是調節難易樣本對於總loss的權重(正負樣本中都有難易,都進行了調節)。gamma=2時,正樣本中越是難區分的樣本權重更高,越是容易區分的樣本權重越低;負樣本也是同樣,越是難區分的樣本權重更高,越是容易區分的樣本權重越低;

3.alpha作用是平衡正負樣本數量對於總loss的權重。一般情況,負樣本會遠遠多於正樣本數量,造成樣本不平衡,alpha大於0.5的值才可以進行調節。但是因為已經有gamma=2的調節,所以文中最終取alpha=0.75是最好的。可以大概理解為,因為有gamma的調節後,alpha=0.75效果最好,是因為更需要負樣本中的困難樣本,對正樣本的困難樣本的相對需求少一些。

focal loss 兩點理解

部落格給出了三個算例。可以看出,focal loss 對可很好分類的樣本賦予了較小的權重,但是對分錯和不易分的樣本新增了較大的權重。對於類別不平衡,使用了 alpha t 進行加權,文章中提到較好的值是0.25,說明在訓練過程中仍然需要對正樣本進行降權。正常的理解是訓練過程中負樣本的數量應該遠大於正...

5分鐘理解Focal Loss與GHM

focal loss的引入主要是為了解決難易樣本數量不平衡 注意,有區別於正負樣本數量不平衡 的問題,實際可以使用的範圍非常廣泛,為了方便解釋,還是拿目標檢測的應用場景來說明 單階段的目標檢測器通常會產生高達100k的候選目標,只有極少數是正樣本,正負樣本數量非常不平衡。我們在計算分類的時候常用的損...

Focal Loss閱讀筆記

2.損失的作用 3.啟示 參考文獻 總之,由於negative過多 easy negative佔很大部分 導致positive對loss貢獻被淹沒,以及單個negative對loss的貢獻小 ohem是一種example篩選方法,使得模型在訓練過程中僅學習hard examples 在計算損失時,先...