整合學習原理 Adaboost

2021-09-07 22:16:13 字數 596 閱讀 2916

整合學習通過從大量的特徵中挑出最優的特徵,並將其轉化為對應的弱分類器進行分類使用,從而達到對目標進行分類的目的。

它是一種迭代演算法,其核心思想是針對同乙個訓練集訓練不同的分類器(弱分類器),然後把這些若分類器集合起來,構成乙個更強的最終分類器(強分類器)。其演算法本身是通過改變資料分布來實現的,它根據每次訓練集中每個樣本的分類是否正確,以及上次總體分布的準確率,來確定每個樣本的權值,將修改過權值的新資料集送給下層分類器進行訓練,最後將每次訓練得到的分類器最後融合起來,作為最終的分類器。使用adaboost可以排除一些不必要的訓練資料特徵,並主要集中於關鍵資料。 

演算法中不同的訓練集是通過調整每個樣本對應的權重來實現的。開始時,每個樣本對應的權重是相同的,在此樣本分佈下訓練出一弱分類器。對於分類錯誤的樣本,加大其對應的權值;而對於分類正確的樣本,降低其對應的權值,這樣分錯的樣本就被突出出來,從而得到乙個新的樣本分佈。在新的樣本分佈下,再次對弱分類器進行訓練,得到另乙個弱分類器。以此類推,經過t次迴圈,得到t個弱分類器,把這t個弱分類器按照一定的權值疊加(boost)起來,得到最終需要的強分類器。

整合演算法原理 Adaboost

有位前輩總結得很清晰有條理,借鑑一下 簡單把裡面我自己要備忘的要點概括一下 1 基本原理 boosting演算法的工作機制是首先從訓練集用初始權重訓練出乙個弱學習器1,根據弱學習的學習誤差率表現來更新訓練樣本的權重,使得之前弱學習器1學習誤差率高的訓練樣本點的權重變高,使得這些誤差率高的點在後面的弱...

AdaBoost演算法原理

每個haar特徵對應看乙個弱分類器,但並不是任伺乙個haar特徵都能較好的描述人臉灰度分布的某一特點,如何從大量的haar特徵中挑選出最優的haar特徵並製作成分類器用於人臉檢測,這是adaboost演算法訓練過程所要解決的關鍵問題。paul viola和michael jones於2001年將ad...

AdaBoost原理詳解

寫一點自己理解的adaboost,然後再貼上面試過程中被問到的相關問題。按照以下目錄展開。當然,也可以去我的部落格上看 面經adaboost是典型的boosting演算法,屬於boosting家族的一員。在說adaboost之前,先說說boosting提公升演算法。boosting演算法是將 弱學習...