分類任務中的樣本不均衡問題

2021-10-24 12:48:05 字數 369 閱讀 9969

參考:

最近在做行人屬性相關工程,遇到個樣本不均衡問題。

問題描述:行人屬性中很多屬性不平衡,例如,戴帽子和不戴帽子的人的比例很懸殊,我們的訓練集就會出現資料不均衡現象。

針對這種現象,我們採用一種資料均衡取樣器解決,思路是這樣的,每個執行緒以1/2概率從戴帽子和不戴帽子的影象佇列中取出資料。這樣即可保證帶帽和不戴帽的資料生成相對均衡。

類似的,假如是多工多屬性的話,可以通過設定不同任務以及不同屬性的概率權重達到產生均衡資料的資料生成器的作用。

總結:分類樣本不均衡就是利用re-sample

要麼:1.over-sampling,複製樣本數較少的類別的樣本

2.under-sampling,刪除樣本數量較多的類別的樣本

分類問題 樣本不均衡

資料層 通過重取樣使樣本空間均衡 演算法層 重點學習正樣本來適應現存的分類器 損失敏感方法 整合資料層和演算法層的思想,假設正樣本誤分類的損失更大。boosting演算法 不斷提高樣本權重 1 對正樣本隨機過取樣,對負樣本隨機下取樣。2 按照樣本特徵和比例來過取樣正樣本或下取樣負樣本,雖然重取樣在樣...

樣本不均衡問題

樣本不均衡是機器學習,深度學習中常見問題。分類任務 a 95 b 5 模型將所有樣本 為a,那麼正確率可以達到95 第一種 是把多的那個組變少 降取樣 第二種 是把少的那個組變多 過取樣 最簡單的是oversampling,由於其侷限性,又有很多根據已有的資料生成新資料的方法,比如各種變體的synt...

樣本不均衡

在分類中,訓練資料不均衡是指不同類別下的樣本數目相差巨大。舉兩個例子 在乙個二分類問題中,訓練集中class 1的樣本數比上class 2的樣本數的比值為60 1。使用邏輯回歸進行分類,最後結果是其忽略了class 2,將所有的訓練樣本都分類為class 1。在三分類問題中,三個類別分別為a,b,c...