決策樹的一些東西,亂寫的當個總結。

2021-07-29 00:00:15 字數 505 閱讀 9658

有兩個非常開闊視野的文章:

隨機森林主要優點:該模型能夠輸出變數的重要性程度、在對缺失資料進行估計時,隨機森林是乙個十分有效的方法,隨機森林演算法中包含了對輸入資料的重複自抽樣過程,即所謂的bootstrap抽樣。這樣一來,資料集中大約三分之一將沒有用於模型的訓練而是用於測試,這樣的資料被稱為out of bag samples,通過這些樣本估計的誤差被稱為out of bag error。研究表明,這種out of bag 方法的與測試集規模同訓練集一致的估計方法有著相同的精確程度,因此在隨機森林中我們無需再對測試集進行另外的設定。

必須注意的是:根據離散特徵分支劃分資料集時,子資料集中不再包含該特徵(因為每個分支下的子資料集該特徵的取值就會是一樣的,資訊增益或者gini gain將不再變化);而根據連續特徵分支時,各分支下的子資料集必須依舊包含該特徵(當然,左右分支各包含的分別是取值小於、大於等於**值的子資料集),因為該連續特徵再接下來的樹分支過程中可能依舊起著決定性作用。

在c4.5中,對連續屬性的處理如下:

剪枝方法:

決策樹(二)關於的決策樹的一些思考

如果我可以使用邏輯回歸解決分類問題和線性回歸解決回歸問題,為什麼需要使用樹模型?我們很多人都有這個問題。實際上,你可以使用任何演算法。這取決於你要解決的問題型別。其中有一些關鍵因素,它們將幫助你決定使用哪種演算法 過度擬合是決策樹建模時面臨的主要挑戰之一。如果沒有限制,它將為您提供100 的訓練集準...

2023年7月2日 隨便亂寫的一些東西

string.substr a,b 表示取下標從a開始的b個字元 強調 不是a到b 用於擷取指定位置的子串,節省碼量 strstr a,b 返回串a中是否存在b,由於兩個引數都是char 不能用於string類.其實不然,string.c str 可以轉換為char 型 所以只要strstr s1....

學會一些東西的方式總結

注 本來想取名學習方法總結。但是學習這個詞對不少人來說是有些痛苦。於是改下名。20191008.對於學習而言,可能最先的問題是 為什麼要學習?從哪找來激情與熱情?先把書讀厚,再讀薄 所謂讀厚,就是在讀書或者學乙個東西時,搞出了更多的事情。有些偏向聯絡 把一些東西展開,把它與其東西聯絡起來。這個展開探...