bagging是一種用來提高學習演算法準確度的方法，這種方法通過構造乙個**函式系列，然後以一定的方式將它們組合成乙個**函式。
它使用bootstrap抽樣，
其基本思想是：將乙個弱學習演算法使用多次（每次使用乙個放回的重複抽樣），並對結果進行投票，最後選取投票多的結果作為最終的結果（也可以通過得票的平均值用於連續值的**）。
bagging對使用的分類演算法有要求，必須為不穩定的演算法（不穩定是指資料集的小的變動能夠使分類結果顯著的變動）比如：決策樹，神經網路演算法、svm等。
1.迴圈t次隨機的有放回的選取n個樣本形成t個訓練集也是只bootstrap中隨機選擇子樣本
2.對這t個訓練集選取
m個特徵
（小於總特徵數）建立多個決策樹（每個數都隨機選取m個，完全生長，不剪枝），每個節點**選取屬性的方式用cart的方式選擇最優
3.選取結果多的類別作為最終分類結果
一般來說隨機森林演算法優於bagging演算法
樣本不均衡問題
樣本不均衡是機器學習，深度學習中常見問題。分類任務 a 95 b 5 模型將所有樣本 為a，那麼正確率可以達到95 第一種 是把多的那個組變少 降取樣 第二種 是把少的那個組變多 過取樣 最簡單的是oversampling，由於其侷限性，又有很多根據已有的資料生成新資料的方法，比如各種變體的synt...
樣本不均衡
在分類中，訓練資料不均衡是指不同類別下的樣本數目相差巨大。舉兩個例子 在乙個二分類問題中，訓練集中class 1的樣本數比上class 2的樣本數的比值為60 1。使用邏輯回歸進行分類，最後結果是其忽略了class 2，將所有的訓練樣本都分類為class 1。在三分類問題中，三個類別分別為a，b，c...
分類問題 樣本不均衡
資料層 通過重取樣使樣本空間均衡 演算法層 重點學習正樣本來適應現存的分類器 損失敏感方法 整合資料層和演算法層的思想，假設正樣本誤分類的損失更大。boosting演算法 不斷提高樣本權重 1 對正樣本隨機過取樣，對負樣本隨機下取樣。2 按照樣本特徵和比例來過取樣正樣本或下取樣負樣本，雖然重取樣在樣...