學習筆記(四) 整合學習

2021-10-05 05:19:37 字數 687 閱讀 7331

概念

整合學習(多分類器系統、基於委員會的學習)通過構建並結合多個學習器完成學習任務。

圖1:先產生一組個體學習器,再利用某種策略將他們結合起來。

分類1(根據個體學習器是否為同種型別)

分類2(根據序列/並行)

好而不同(個體學習器有一定的準確性並且學習器間具有差異)

整合學習往往可以得到比單一學習器顯著優越的泛化效能,對「弱學習器」(泛化能力略優於隨機,例如二分類問題上精度略高於50%)尤為明顯,但實際上往往會使用比較強的學習器(如考慮使用較少學習器)

每個個體學習器是underfitting,減少偏度

adaboost (即adaptive boosting)

gradient boosting(如lightgbm ,xgboost )

**:xgboost: a scalable tree boosting system

adaptive boosting和gradient boosting區別

訓練模型時:

整合模型時:隨機森林(決策樹+隨機選擇特徵+bagging)

(四)整合學習

2.2.1 分類 二分類為例,輸出 1 1 2.2.2 回歸 r2回歸為例 2.2.3 正則化booster 弱學習器,常用gbtree eta learning rate min child weight 預設1 子節點的權重閾值。它刻畫的是 對於乙個葉子節點,當對它採取劃分之後,它的所有子節點的...

ABP架構學習系列四 整合Dapper

修改zmblog.infrastructure的zmblogdatamodule 如下 namespace zmblog.entityframework public override void initialize 和ef一樣,需要配置對映關係 public public ps 如果同時使用ef,...

redis學習筆記四 集合

1 新增 刪除元素 sadd key member member.srem key member member.新增的時候,如果元素不存在自動建立,如果存在會自動忽略,不進行新增 2 獲取集合中的所有元素 smembers key 3 判斷元素是否在集合中 sismember key member ...