gbdt（gradient boosting decision tree，梯度提公升決策樹），由名字可以看出涉及到三點：
1、boosting
簡單講，就是每次訓練單個弱學習器時，都將上一次分錯的資料權重提高一點再進行當前單個弱學習器的學習。這樣越往後執行，訓練出的單個弱學習器就會越在意那些容易分錯（權重高）的點。當執行 m 次後，通過加權求和的方式組合成乙個最終的學習器。
2、gradient boosting
gradient boosting 是 boosting 的其中一種方法，它主要的思想是，每一次建立單個學習器時，是在之前建立的模型的損失函式的梯度下降方向。我們知道損失函式(loss function)越大，說明模型越容易出錯，如果我們的模型能夠讓損失函式持續的下降，則說明我們的模型在不停的改進，而最好的方式就是讓損失函式在其梯度的方向上下降。
3、decision tree
gbm可以選擇各種不同的學習演算法作為基學習器，用得最多的基學習器是決策樹。這與決策樹演算法自身的優點有很大的關係。我們知道，單獨使用決策樹演算法時，容易出現過擬合問題。假如通過方法來抑制決策樹的複雜性，降低單個決策樹的擬合能力，再通過梯度提公升方法整合多個決策樹，最終能很好地解決過擬合問題。
4、gbdt核心思想
gbdt在迭代的每一步構建乙個能夠沿著梯度最陡的方向降低損失的學習器來彌補已有模型的不足。gbdt在函式空間中利用梯度下降法進行優化。
GBDT 梯度提公升決策樹
gbdt gradient boosting decision tree 又叫 mart multiple additive regression tree 是一種迭代的決策樹演算法，該演算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和svm一起被認為是泛化能力較強的演算法。...
梯度提公升決策樹 GBDT
整合學習經典一類演算法，屬於個體學習器間存在較強依賴關係的一類，需以序列的序列化生成方法構建。原理 所有弱分類器結果相加等於 值，下乙個弱分類器去擬合誤差函式對 值的殘差 值與真實值的誤差 這裡的弱分類器是決策樹。舉例 用gbdt的方法 年齡 step1 在第乙個弱分類器中隨機選擇乙個數字擬合，發現...
梯度提公升決策樹 GBDT）
以決策樹為基函式的提公升方法稱為提公升樹。決策樹可以分為分類樹和回歸樹。提公升樹模型可以表示為決策樹的加法模型。針對不同的問題的提公升術演算法的主要區別就是損失函式的不同，對於回歸問題我們選用平方損失函式，對於分類問題，我們使用指數損失函式。特別的，對於二分類問題，我們提公升樹就是把adaboost...