注：本文中所有公式和思路來自於李航博士的《統計學習方法》一書，我只是為了加深記憶和理解寫的本文。
作為回歸提公升樹中的殘差近似值，擬合一棵決策樹。
具體演算法如下：
其中需要解釋幾個與提公升樹的不同之處，在第一步中，我們本來應該是y與**值y~的差值，這裡設f(0)為常數，y~=c*f(0)，所以統一劃歸為c中（其實f(0)可以通過求導消掉，我們姑且理解為劃歸入c中）。在第(2)(a)步中，損失函式對f(x)求偏導計算出損失函式的負梯度在當前模型的值，將它作為殘差的近似（偽殘差）,第(2)(b)步中，估計回歸樹葉節點區域，用來擬合殘差的近似值，第(2)(c)步用線性搜尋方式估計葉節點區域的值，使得損失函式極小化，最後一步(d)更新回歸提公升樹。
基於殘差的提公升樹
GBDT 梯度提公升決策樹
gbdt gradient boosting decision tree 又叫 mart multiple additive regression tree 是一種迭代的決策樹演算法，該演算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和svm一起被認為是泛化能力較強的演算法。...
梯度提公升決策樹 GBDT
整合學習經典一類演算法，屬於個體學習器間存在較強依賴關係的一類，需以序列的序列化生成方法構建。原理 所有弱分類器結果相加等於 值，下乙個弱分類器去擬合誤差函式對 值的殘差 值與真實值的誤差 這裡的弱分類器是決策樹。舉例 用gbdt的方法 年齡 step1 在第乙個弱分類器中隨機選擇乙個數字擬合，發現...
梯度提公升決策樹 GBDT）
以決策樹為基函式的提公升方法稱為提公升樹。決策樹可以分為分類樹和回歸樹。提公升樹模型可以表示為決策樹的加法模型。針對不同的問題的提公升術演算法的主要區別就是損失函式的不同，對於回歸問題我們選用平方損失函式，對於分類問題，我們使用指數損失函式。特別的，對於二分類問題，我們提公升樹就是把adaboost...