整合學習（ensemble learning）是通過組合多個基分類器（baseclassifier）來完成學習任務。基分類器一般採用的是弱可學習分類器，通過整合學習，組合成乙個強可學習分類器。
整合學習主要分為兩類：一是個體學習器間存在強大依賴關係、必須序列生成的序列化方法，代表演算法：boosting；二是個體學習器間不存在依賴關係、可同時生成的並行化方法，代表演算法bagging和「隨機森林」。
1. 偏差和方差
偏差bias度量了學習演算法與真實結果的偏離程度，刻畫了學習演算法本身的擬合能力；方差variance度量了同樣大小的訓練集的變動所導致的學習效能的變化，刻畫了資料擾動所造成的影響。
偏差-方差分解說明，泛化能力是由學習演算法的能力，資料的充分性和學習任務本身的難度共同決定的。給定學習任務，為了取得較好的泛化能力，需要偏差較小來充分擬合資料，並且使方差較小來是資料擾動的影響小。但是，兩者往往是不可兼得的，當訓練不足時，學習器的擬合能力不夠強，資料擾動不足以產生較大的影響，此時偏差主導了泛化錯誤率；隨著訓練加深時，擬合能力隨之加強，資料擾動漸漸能被被學習器學習到，方差主導了泛化錯誤率。在訓練充足後，學習器的擬合能力已經很強，訓練資料發生的輕微擾動都會導致學習器發生發生顯著變化，若是訓練集自身的非全域性的特性被學習器學習到，就會發生過擬合。
從「偏差-方差分解」的角度看，bagging關注於降低方差variance，而boosting則是降低偏差bias（boosting的基分類器是強相關的，並不能顯著降低方差variance）。
2. boosting演算法
boosting是一種可以將弱學習器提公升為強學習器的演算法，代表演算法為adaboost。這類演算法一般從弱學習演算法出發，反覆學習，得到一系列弱分類器，然後組合這些弱分類器，構成乙個強分類器。大多數都是改變訓練資料的概率分布（訓練資料中的各個資料點的權值分布），呼叫弱學習演算法得到乙個弱分類器，再改變訓練資料的概率分布，再呼叫弱學習演算法得到乙個弱分類器，如此反覆，得到一系列弱分類器。。
3. bagging演算法
bagging是並行式整合學習代表方法，代表演算法為隨機森林random forest。基於「自助取樣法」（bootstrap sampling）。自助取樣法機制：給定包含m個樣本的資料集，我們先隨機取出乙個樣本放入取樣集中，再把該樣本放回初始資料集，使得下一次取樣時該樣本還會被採到。這樣，經過m次樣本採集，我們得到包含m個樣本的取樣集（取樣集中，有的樣本出現過很多次，有的沒有出現過）。基於每個取樣集訓練出乙個學習器，再將這些學習器結合，對分類任務使用投票法，對回歸任務採用平均值法。
隨機森林rf在以決策樹為基學習器構建bagging的基礎上，進一步在決策樹的訓練過程中引入了隨機屬性選擇。在rf中，對基決策樹的每個結點，先從該結點的屬性集合中隨機選擇乙個包含k個屬性的子集，然後再從這個子集中選擇乙個最優屬性用於劃分。這樣，隨機森林中基學習器的「多樣性」來自樣本擾動和屬性擾動，使得最終整合的泛化效能可能通過個體學習器之間的差異度的增加而進一步提公升。
參 考
李航《統計學習方法》
周志華《機器學習》
機器學習筆記14 整合 B B
整合 b b bagging 和 boosting 是提高監督式學習方案準確性的兩種常見整合方法。收集一堆簡單規則，並且這些規則都有點意義 能提供一些幫助。但是，單靠某乙個規則無法得到最好的答案，合併成乙個效果不錯的複雜規則。先通過某個資料子集進行學習，形成某個規則 然後通過另一資料子集進行學習，再...
學習筆記（四） 整合學習
概念 整合學習 多分類器系統 基於委員會的學習 通過構建並結合多個學習器完成學習任務。圖1 先產生一組個體學習器，再利用某種策略將他們結合起來。分類1 根據個體學習器是否為同種型別 分類2 根據序列 並行 好而不同 個體學習器有一定的準確性並且學習器間具有差異 整合學習往往可以得到比單一學習器顯著優...
機器學習演算法（五）整合
整合指用多個基學習器共同構成乙個更加強大的學習器。整合包含三種方法 boosting，bagging，stacking 1 boosting 包括gbdt和adaboost，各學習器間存在強依賴關係，只能序列實現 2 bagging的代表演算法是隨機森林，各學習器間不存在強依賴關係，可以並行實現 3...