3 gbdt核心
4 參考
今天寫了一篇關於基於樹模型的整合學習中特徵重要性的計算原理，見 機器學習 | 特徵重要性判斷 其中有一篇介紹gbdt的博文中，介紹了具體的例子來講解gbdt，一開始不太理解，後來和同學討論之後逐步了解了，記錄一下！
首先上gbdt的數學原理，即演算法過程：
首先會有乙個樹模型
將上乙個樹模型的殘差（損失函式的負梯度）結果作為新的label，結合自變數x來進行構建cart回歸樹！
將上述得到的回歸樹乘以乙個較小的學習率（防止過擬合）+ 上一步樹模型 即得本次迭代的模型！
不斷迭代第2和第3步，直至滿足要求。
參考資料：
問題：第二棵樹0樣本的殘差值為:-0.3375怎麼得到的？
首先了解第一棵樹-0.375怎麼得到？
根據2.1的演算法原理的第一步可以知道，殘差 = 本輪實際值 - 上輪**值
第一輪：
本輪實際值 = 1.1
上輪**值 = 1.475【弱學習器1】
故殘差為：1.1 - 1.475 =-0.375
第二輪：
本輪實際值 = 1.475 + (-0.375) = 1.1
上輪**值 = 1.475 + 0.1 * (-0.375) = 1.4375 【弱學習器2】
故殘差為 : 1.1 - 1.4375 =-0.3375
第三輪：
本輪實際值 = 1.4375 + (-0.3375) = 1.1
上輪**值 = 1.4375 + 0.1 * (-0.3375) = 1.40375 【弱學習器3】
故殘差為 : 1.1 - 1.40375 =-0.30375
gbdt的核心就在於：
機器學習 GBDT
在gbdt的迭代中，假設前一輪迭代得到的強學習器 ft 1 x f x ft 1 x 損失函式 l y ft 1 x l y,f x l y,ft 1 x 本輪迭代的目標是找到乙個cart回歸樹模型的弱學習器ht x h t x ht x 讓本輪的損失函式l y ft x l y,f t 1 x h...
機器學習 GBDT
基礎概念 gbdt gradient boosting decision tree 全稱梯度提公升決策樹，是一種迭代的決策樹演算法。gbdt是整合學習boosting的家族成員，gbdt中的樹是回歸樹，用於回歸 調整後也可以用於分類。分類樹與回歸樹的差異 分類樹大致的實現過程是 窮舉每乙個屬性特徵的...
機器學習 整合學習GBDT
gbdt也是整合學習boosting的其中一種，boosting是由多個弱學習器組成，與bagging不同，boosting學習器之間有關聯的關係。adaboost是通過前面的學習器模型來決定當前的學習器模型的每個樣本的權重，然後計算出當前學習器組合權重，最後將學習器線性組合起來。而gbdt則是通過...