1、提公升方法是將弱學習演算法提公升為強學習演算法的統計學習方法。在分類學習中，提公升方法通過反覆修改訓練資料的權值分布，構建一系列基本分類器（弱分類器），並將這些基本分類器線性組合，構成乙個強分類器，代表性的提公升方法是adaboost，adaboost模型是弱分類器的線性組合
2、adaboost演算法的特點是通過迭代每次學習乙個基本分類器，每次迭代中，提高那些被前一輪分類器錯誤分類資料的權值，而降低那些被正確分類的資料的權值。最後，adaboost將基本的分類器的線性組合作為強分類器，其中給分類器誤差率小的基本分類器以大的權值，給分類誤差率大的基本分類器以小的權值。
3、adaboost的訓練誤差分析表明，adaboost的每次迭代可以減少他在訓練資料集上的分類誤差率，這說明了它作為提公升方法的有效性。
4、adaboost演算法的乙個個解釋是該演算法實際是前向分布演算法的乙個實現，在這個方法裡，模型是加法模型，損失函式是指數損失，演算法是前向分布演算法
5、提公升書是以分類樹和回歸樹為基本分類器的提公升方法，提公升樹被認為是統計學習中最有效的方法之一
提公升樹與梯度提公升樹演算法
我們對boosting家族的adaboost演算法做了總結，本文就對boosting家族中另乙個重要的演算法梯度提公升樹 gradient boosting decison tree,以下簡稱gbdt 做乙個總結。gbdt有很多簡稱，有gbt gradient boosting tree gtb g...
提公升樹，梯度提公升樹（GBDT）筆記
決策樹可以分為二叉分類樹或者二叉回歸樹，剛剛我們講了分類樹，現在介紹一下回歸樹。回歸問題是用來處理連續值。提公升樹採用了前向分布演算法，模型如下 公式分析 演算法目標 圖中的x，y圖表示的就是，曲線上的點就是這個回歸樹所 到的殘差的 值，我們最後要的就是 值接近真實的殘差就是去擬合這個殘差 fitt...
4 提公升之梯度提公升樹（GBDT）
提公升方法採用加法模型與前向分步演算法，是以決策樹為基分類器。ps 這裡的決策樹指cart樹。主要思想 對於提公升樹演算法，簡單來說就是每一步會擬合前一步的殘差。ps 只有當損失函式是均方誤差的時候，每一步是擬合的殘差，對於其他損失函式卻不是。提公升樹模型 計算每個資料的殘差 通過殘差學習一顆回歸樹...