為什麼要整合演算法？
模型的評判標準：min 偏差+方差；
對不同的演算法模型，可以通過調優過程使訓練集資料對該模型做到「最佳」；然而大部分模型自身存在著問題使偏差或者方差天生偏高，如決策樹易過擬合則方差較高；樸素貝葉斯模型簡單，偏差較高；因此需要利用一些策略來彌補天生的缺失。
整合學習：將若干弱分類器組合之後產生乙個強分類器。弱分類器（weak learner）指那些分類準確率只稍好於隨機猜測的分類器（error rate < 50%）。如今整合學習有兩個流派，一種是bagging流派，它的特點是各個弱學習器之間沒有依賴關係，可以並行擬合，隨機森林演算法就屬於bagging派系；另乙個是boosting派系，它的特點是各個弱學習器之間有依賴關係，adaboost演算法就屬於boosting派系。在實現整合學習演算法時，很重要的乙個核心就是如何實現資料的多樣性，從而實現弱分類器的多樣性。整合學習的思想如下圖所示：
整合演算法原理 Adaboost
有位前輩總結得很清晰有條理，借鑑一下 簡單把裡面我自己要備忘的要點概括一下 1 基本原理 boosting演算法的工作機制是首先從訓練集用初始權重訓練出乙個弱學習器1，根據弱學習的學習誤差率表現來更新訓練樣本的權重，使得之前弱學習器1學習誤差率高的訓練樣本點的權重變高，使得這些誤差率高的點在後面的弱...
整合演算法 隨機森林
這一節，我們來聊聊隨機森林演算法，雖然我對這些演算法的理解也不是很深，但還是決定寫一寫。首先，整合演算法是指多種演算法的集合，因為單一的演算法在處理某種問題時，可能會有所限制，整合演算法會綜合多種演算法的結果，得到乙個均值，效果往往會比單一演算法好一些。前面我們討論過決策樹，那隨機森林就不難理解，它...
機器學習 整合演算法
整合演算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然後把結果整合起來進行整體 整合演算法的主要難點在於究竟整合哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的演算法，同時也非常流行。是構建多個學習器，然後通過一定策略結合把它們來完成學習任務的，常常可以獲得比單一學習...