整合學習（ensemble learning）通過構建並結合多個弱學習器來完成學習任務。bagging又叫做自舉匯聚法，思想是：一般來說整合學習可以分為三大類：
常見的推廣演算法有:
extra tree是隨機森林的變種，原理和隨機森林一樣，區別如下：
主要用於異常點檢測在隨機取樣的過程中，一般只需要少量資料即可；
在進行決策樹構建過程中，iforest演算法會隨機選擇乙個劃分特徵，並對劃分特徵 隨機選擇乙個劃分閾值；
iforest演算法構建的決策樹一般深度max_depth是比較小的。
只能用於cart每次迭代要求殘差盡可能的小
類似於深度學習，stacking的構建是模型的疊加，模型的型別可以不一樣，而深度學習的模型是線性的ax+b
機器學習演算法之整合學習
在機器學習問題中，對於乙個複雜的任務來說，能否將很多的機器學習演算法組合在一起，這樣計算出來的結果會不會比使用單一的演算法效能更好？這樣的思路就是整合學習方法。三個臭皮匠，頂個諸葛亮。實際操作中，整合學習把大大小小的多種演算法融合在一起，共同協作來解決乙個問題。這些演算法可以是不同的演算法，也可以是...
機器學習之整合學習（二）
1.隨機森林 rf rf是對bagging的進化版，首先都是有放回的進行取樣，獲得n個訓練集從而訓練n個弱分類器，但是rf在隨機選取的訓練集的基礎上對於特徵的選擇也是隨機的，隨機的選取一部分的特徵進行弱分類器的構建，同時在劃分建樹的過程中也是從這些隨機選取的部分特徵中選擇最優的特徵。使用的為同質個體...
機器學習之整合學習（一）
詳細參考 首先明確整合學習它本身不是乙個單獨的機器學習演算法，而是通過構建並結合多個機器學習器來完成學習任務。整合學習有兩個主要的問題需要解決，第一是如何得到若干個個體學習器，第二是如何選擇一種結合策略，將這些個體學習器集合成乙個強學習器。對於個體學習器第一種就是所有的個體學習器都是乙個種類的，或者...