xgb中引數分為三類
1.通用引數
2.整合引數
3.任務引數
1）隨機森林在ligthgbm（有很多整合演算法）中有，裡面更全。
2）xgboost（裡面有gdbt是樹的串型疊加的各種包，梯度增強的方法）裡面沒有隨機森林包。
xgboost是乙個支援多種資料格式的庫。libsvm資料儲存格式，xgboost裡面的資料格式xgboost.dmatrix（資料）
3）交叉驗證是乙個評估方法，是xgb自帶的函式。
4）如果需要使用網格搜尋交叉驗證早最好的超引數，用簡單模式的xgboost，與sklearn的gridsearchcv配合使用。
早停模式：
防止過擬合，在高階摸索和簡單模式下都可以使用，
自定義損失函式
定義函式的一階導數和二階導數，在高階模式中使用。
機器學習 Xgboost 對比
引數解釋 實戰 原理 調參步驟 對比 這篇寫的比較好。eta學習率的解釋 你可以是幾個回歸樹的葉子節點之和為 值，也可以是加權，比如第一棵樹 值為3.3，label為4.0，第二棵樹才學0.7，再後面的樹還學個鬼，所以給他打個折扣，比如3折，那麼第二棵樹訓練的殘差為4.0 3.3 0.3 3.01，...
python機器學習 xgboost簡介
boosting 分類器屬於整合學習模型，它基本思想是把成百上千個分類準確率較低的樹模型組合起來，成為乙個準確率很高的模型。這個模型會不斷地迭代，每次迭代就生成一顆新的樹。對於如何在每一步生成合理的樹，大家提出了很多的方法，我們這裡簡要介紹由 friedman 提出的 gradient boosti...
機器學習21 XGBoost模型
提公升 boosting 分類器隸屬於整合學習模型。它的基本思想是把成百上千個分類準確率較低的樹模型組合起來，成為乙個準確率很高的模型。這個模型的特點在於不斷迭代，每次迭代就生成一顆新的樹。對於如何在每一步生成合理的樹，大家提出了很多的方法，比如我們在整合 分類 模型中提到的梯度提公升樹 gradi...