為了不讓自己在深度學習的網路裡迷失…嗝~~，回顧了一下機器學習
相信大家看到整合學習的時候，類似於adaboost等思路還是挺清晰的，bdt裡面的基於擬合殘差思想也好理解，但是碰到gbdt時候有點蒙蔽【只針對小白，大佬繞行…】----這怎麼就變成了根據損失函式的負梯度擬合呢，（編輯公式有點煩，我就把pad筆記拿上來）
說明：t是更新到第t次的意思，i是樣本標記，為什麼不寫xgboost？，因為xgboost基礎的原理就是二階泰勒展開，可以自行推導
參考：李航統計學習方法，陳天奇ppt
xgboost與GBDT區別 優勢
傳統gbdt以cart作為基分類器，xgboost還支援線性分類器，這個時候xgboost相當於帶l1和l2正則化項的邏輯斯蒂回歸 分類問題 或者線性回歸 回歸問題 傳統gbdt在優化時只用到一階導數資訊，xgboost則對代價函式進行了二階泰勒展開，同時用到了一階和二階導數。順便提一下，xgboo...
xgboost與GBDT區別 優勢
傳統gbdt以cart作為基分類器，xgboost還支援線性分類器，這個時候xgboost相當於帶l1和l2正則化項的邏輯斯蒂回歸 分類問題 或者線性回歸 回歸問題 傳統gbdt在優化時只用到一階導數資訊，xgboost則對代價函式進行了二階泰勒展開，同時用到了一階和二階導數。順便提一下，xgboo...
Xgboost的特點（與GBDT對比）
xgboost是在gbdt上進行改進的模型，其主要的特點是做了下面的工作，對了樹每次做 候選時，是使用的gain增益，而不是普通的gini指數或者均方差，是一種優化過的誤差計算.1 將樹模型的複雜度加入到正則項中，參與到損失函式，來避免過擬合問題。葉子打分就是 值，分類問題是給的概率 2 對損失函式...