ML 08 Bagging(整合學習分支1)

2021-10-03 12:08:18 字數 592 閱讀 8845

【一】 bagging(演算法的乙個流派,自助聚合)

【有監督】現在常用的,也最需要掌握的,分類演算法

leverage unstable base learners that are weak because of overfitting,每個弱分類器都是overfitting (過擬合)

【二】 random forest(隨機森林)

【三】 rf **使用(sklearn)

from sklearn.ensemble import randomforestclassifier

''':param (引數)

n_estimators:指定隨即森林中樹的個數

'''rf = randomforestclassifier(n_estimators=20)

''':object (方法)

rf.fit(x,y): lr 是有監督的機器學習演算法

rf.predict(x): 返回資料 x **的類別

'''

整合學習 bagging和boosting

bagging boostrap aggregating 對樣本再取樣 boostrap 對每一重取樣的子樣本訓練乙個模型,最後取平均,所以是降低模型的variance。bagging比如random forest這種先天並行的演算法都有這個效果。boosting則是迭代演算法,每一次迭代都根據上一...

整合學習 Boosting和Bagging異同

整合學習 ensemble learning 有時也被籠統地稱作提公升 boosting 方法,廣泛用於分類和回歸任務。它最初的思想很簡單 使用一些 不同的 方法改變原始訓練樣本的分布,從而構建多個不同的分類器,並將這些分類器線性組合得到乙個更強大的分類器,來做最後的決策。也就是常說的 三個臭皮匠頂...

整合學習2 bagging

參考 清華大學 資料探勘課程 1.bagging bootstrap aggregation bagging是有放回的取出樣本中的部分樣本,進行多次這種操作得到多組樣本,用這些樣本訓練多個分類器,然後在 的時候,用這些分類器進行 用這些 值進行投票。比如7個 為1,3個 為0,則總的 值就為1。2....