樹模型引數

2021-10-02 19:50:01 字數 1025 閱讀 3488

樹模型引數:

1.criterion gini or entropy

2.splitter best or random 前者是在所有特徵中找最好的切分點 後者是在部分特徵中(資料量大的時候)

3.max_features none(所有),log2,sqrt,n 特徵小於50的時候一般使用所有的

4.max_depth 資料少或者特徵少的時候可以不管這個值,如果模型樣本量多,特徵也多的情況下,可以嘗試限制下;

5.min_samples_split 如果某節點的樣本數少於min_samples_split,則不會繼續再嘗試選擇最優特徵來進行劃分如果樣本量不大,不需要管這個值。如果樣本量數量級非常大,則推薦增大這個值。

6.min_samples_leaf 這個值限制了葉子節點最少的樣本數,如果某葉子節點數目小於樣本數,則會和兄弟節點一起被剪枝,如果樣本量不大,不需要管這個值,大些如10w可是嘗試下5

7.min_weight_fraction_leaf 這個值限制了葉子節點所有樣本權重和的最小值,如果小於這個值,則會和兄弟節點一起被剪枝預設是0,就是不考慮權重問題。一般來說,如果我們有較多樣本有缺失值,或者分類樹樣本的分布類別偏差很大,就會引入樣本權重,這時我們就要注意這個值了。

8.max_leaf_nodes 通過限制最大葉子節點數,可以防止過擬合,預設是"none」,即不限制最大的葉子節點數。如果加了限制,演算法會建立在最大葉子節點數內最優的決策樹。如果特徵不多,可以不考慮這個值,但是如果特徵分成多的話,可以加以限制具體的值可以通過交叉驗證得到。

9.class_weight 指定樣本各類別的的權重,主要是為了防止訓練集某些類別的樣本過多導致訓練的決策樹過於偏向這些類別。這裡可以自己指定各個樣本的權重如果使用「balanced」,則演算法會自己計算權重,樣本量少的類別所對應的樣本權重會高。

10.min_impurity_split 這個值限制了決策樹的增長,如果某節點的不純度(基尼係數,資訊增益,均方差,絕對差)小於這個閾值則該節點不再生成子節點。即為葉子節點 。

11.n_estimators:要建立樹的個數

模型引數與模型超引數

模型引數是模型內部的配置變數,其值可以根據資料進行估計。模型在進行 時需要它們。它們的值定義了可使用的模型。他們是從資料估計或獲悉的。它們通常不由程式設計者手動設定。他們通常被儲存為學習模型的一部分。引數是機器學習演算法的關鍵。它們通常由過去的訓練資料中總結得出。在經典的機器學習文獻中,我們可以將模...

引數模型與非引數模型

引數模型 非引數模型 以及半引數模型 的概念應該源自於統計學中。統計專業中有一門課程叫做 非引數統計 研究的物件就是秩檢驗 核密度估計等。在統計學中,引數模型通常假設總體 隨機變數 服從某乙個分布,該分布由一些引數確定 比如正太分布由均值和方差確定 在此基礎上構建的模型稱為引數模型 非引數模型對於總...

模型引數和超引數

總結個人理解 機器學習中的模型引數和模型超引數在作用 等方面都有所不同,而模型超引數常被稱為模型引數,這樣,很容易對初學者造成混淆。本文給出了模型引數和模型超引數的定義,並進行了對比,指出了二者本質上的區別 模型引數是模型內部的配置變數,可以用資料估計模型引數的值 模型超引數是模型外部的配置,必須手...