上一節我們講了adaboost，而提公升樹也是提公升方法的一種，它的基分類器為分類樹或者回歸樹。（ps：首先我們講一下殘差的概念：殘差是指實際值和估計值之間的差，就是相減。）一般提公升樹的模型的損失函式是平方損失和對數損失，所以優化很簡單。但是對一般損失函式而言就有困難，所以又有了梯度提公升演算法，然後一結合成了梯度提公升樹（gbdt）。
首先將一下什麼是提公升樹。我們知道所謂的提公升演算法其實就是加法模型加上前向分布演算法，李航的那本書有證明。所以，我們將基分類器換成樹模型的時候，提公升方法就變成了提公升樹。一般的前向分布演算法的描述如下：
提公升樹演算法就是將基分類器換成了樹，每乙個新的分類器是為了擬合殘差，而gdbt只不過將損失函式的負梯度在當前模型的值作為回歸問題提公升樹演算法中的殘差的近似值，擬合乙個回歸樹。（分類樹也是同樣的道理）
演算法描述如下：
gbdt梯度提公升樹
這採用boosting的思想，把表現一般的學習器通過一定的方法結合成效果相對比較好的學習器 gbdt是提公升樹的一種，是多棵樹的加權結果。採用的是分類回歸樹 cart 樹的劃分採用基尼係數。採用前向分布演算法 1 gbdt為什麼是用負梯度代替殘差？首先這是邏輯上顛倒的錯誤。實質沒有明白gbdt是怎麼...
梯度提公升樹GBDT
gbdt全稱gradient boosting decision tree，即用gradient boosting策略訓練出來的決策樹模型。模型的結果是一組cart樹 回歸分類樹 的組合 t 1,t k 其中 t j 學習的是之前 j 1 棵樹 結果的殘差。這種思想就像準備考試前的複習，先做一遍習題...
梯度提公升樹GBDT
gbdt是boosting家庭中，除adaboost外另乙個重要的演算法。演算法思想同樣是讓本輪迭代找到的決策樹的損失比上輪更小。用損失函式負梯度來擬合本輪損失近似值，進而擬合乙個cart回歸樹。第t輪的第i個樣本的損失函式的負梯度表示為 r frac x 利用 x i,r quad i 1,2,m...