英文adaptive boosting（自適應增強）的縮寫，它的自適應在於：前乙個基本分類器分錯的樣本會得到加強，加權後的全體樣本再次被用來訓練下乙個基本分類器，同時，在每一輪加入乙個新的弱分類器，直到達到某個預定的足夠小的錯誤率或達到預先指定的最大迭代次數。
演算法流程：
初始化訓練資料的權值分布，如果有n個樣本，則每乙個訓練樣本最開始都被賦予相同的權重：1/n；
訓練弱分類器，具體訓練過程中，如果某個樣本已經被準確地分類，它的權重就被降低，相反，如果某個樣本點沒有被準確地分類，那麼它的權重就得到提高，然後，權重更新後的樣本集被用於訓練下乙個分類器，整個訓練過程如此迭代下去；
將各個訓練得到的弱分類器組合成強分類器，各個弱分類器的訓練過程結束後，加大分類誤差率小的弱分類器的權重，使其在最終的分類函式中起著較大的決定作用，降低分類誤差率大的弱分類器的權重，使其在最終的分類函式中起著較小的決定作用，換言之，誤差率低的弱分類器在最終的分類器中佔的權重較大，否則較小。
XGBoost學習筆記（三）
在xgb中，控制複雜度的引數 gamma 正則化引數 alpha,lambda 學習速率 eta 都可以控制過擬合，但並非主要用於解決過擬合問題。當得到乙個資料集之後，通常先通過網格搜尋找出合適的n estimators和eta的組合，然後使用gamma或者max depth觀察模型的擬合情況，最後...
XGBoost演算法 學習筆記
學習背景 最近想要學習和實現一下xgboost演算法，原因是最近對專案有些想法，準備做個回歸 作為當下比較火的回歸 演算法，準備直接套用試試效果。一 基礎知識 1 泰勒公式 泰勒公式是乙個用函式在某點的資訊描述其附近取值的公式。具有區域性有效性。基本形式如下 由以上的基本形式可知泰勒公式的迭代形式為...
XGBoost 學習過程
最近開始入手學習python處理資料，在看 的時候發現了xgboost，並且作為第三方庫在pycharm中無法匯入，很是一籌莫展，那就從部落格上搜尋開始入手，首先了解這個庫到底是完成了什麼事情呢。下面開始據此對xgboost的原理做簡單的介紹 xgboost 1 是2014年2月誕生的專注於梯度提公...