from sklearn.ensemble import extratreesclassifier,randomforestclassifier
from sklearn.tree import decisiontreeclassifier
from sklearn.model_selection import cross_val_score
from sklearn import datasets
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
# 決策樹，進行裂分時候，根據資訊增益最大進行裂分，刻板
# 情深不壽，慧極必傷
# 極限森林 1、樣本隨機 2、**條件隨機（不是最好的裂分條件）
# 隨機性在計算分割的方式上進一步向前邁進了一步。
# 像在隨機森林中一樣，使用候選特徵的隨機子集，但不是尋找最有區別的閾值，
# 而是為每個候選特徵隨機繪製閾值，
# 並選擇這些隨機生成的閾值中的最佳閾值作為劃分規則
x,y = datasets.load_wine(
true
)clf = decisiontreeclassifier(
)cross_val_score(clf,x,y,cv =
6,scoring=
'accuracy'
).mean(
)#0.8531746031746033
forest = randomforestclassifier(n_estimators=
100)
cross_val_score(forest,x,y,cv =
6,scoring=
'accuracy'
).mean(
)#0.9666666666666667
extra = extratreesclassifier(n_estimators=
100)
cross_val_score(extra,x,y,cv =
6,scoring=
'accuracy'
).mean(
)#0.9833333333333334
# 鳶尾花資料，特徵只有四個，相對於葡萄酒，資料量簡單
x,y = datasets.load_iris(
true
)# 資料簡單，那麼普通的演算法和牛x效果一樣
# 清洗後資料，優化後的資料，整理的資料，對演算法要求變低
# 資料預處理 ！！！非常重要的
# 一般演算法（鐵鍋）-------複雜演算法（不鏽鋼）-------神經網路（鈦合金）
# 資料的質量，異常重要
# 爛白菜（資料質量不好）
# 純天然，無汙染，綠色，有機食品
clf = decisiontreeclassifier(
)cross_val_score(clf,x,y,cv =
6,scoring=
'accuracy'
).mean(
)#0.9591049382716048
forest = randomforestclassifier(n_estimators=
100)
cross_val_score(forest,x,y,cv =
6,scoring=
'accuracy'
).mean(
)#0.9660493827160493
extra = extratreesclassifier(n_estimators=
100)
cross_val_score(extra,x,y,cv =
6,scoring=
'accuracy'
).mean(
)#0.9521604938271605
scikit learn 隨機森林
在隨機森林中，集合中的每棵樹都是根據訓練集中的替換樣本 即引導樣本 構建的。此外，在樹的構造過程中拆分每個節點時，可以從所有輸入要素或size的隨機子集中找到最佳拆分 max features。這兩個隨機性 的目的是減少森林估計量的方差。實際上，單個決策樹通常表現出較高的方差並且傾向於過度擬合。森林...
《scikit learn》隨機森林之回歸
今天我們學習下隨機森林做回歸的用法 話不多說直接上測試 看的更加清晰，總體上和回歸樹是一樣的使用流程 from sklearn.datasets import load boston from sklearn.model selection import cross val score from s...
scikit learn中的隨機森林模型
和決策樹模型類似，scikit learn中的隨機森林模型也提供了基於普通decision tree的random forest學習器和基於隨機化extra tree的extratrees學習器。鑑於decision tree和extra tree差別甚小，本文以random forest為例進行介...