from sklearn.tree import decisiontreeclassifier
# 1.criterion gini or entropy
# 2.splitter best or random 前者是在所有特徵中找最好的切分點 後者是在部分特徵中（資料量大的時候）
# 3.max_features none（所有），log2，sqrt，n 特徵小於50的時候一般使用所有的
# 4.max_depth 資料少或者特徵少的時候可以不管這個值，如果模型樣本量多，特徵也多的情況下，可以嘗試限制下
# 5.min_samples_split 如果某節點的樣本數少於min_samples_split，則不會繼續再嘗試選擇最優特徵來進行劃分
# 如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。
# 6.min_samples_leaf 這個值限制了葉子節點最少的樣本數，如果某葉子節點數目小於樣本數，則會和兄弟節點一起被
# 剪枝，如果樣本量不大，不需要管這個值，大些如10w可是嘗試下5
# 7.min_weight_fraction_leaf 這個值限制了葉子節點所有樣本權重和的最小值，如果小於這個值，則會和兄弟節點一起
# 被剪枝預設是0，就是不考慮權重問題。一般來說，如果我們有較多樣本有缺失值，
# 或者分類樹樣本的分布類別偏差很大，就會引入樣本權重，這時我們就要注意這個值了。
# 8.max_leaf_nodes 通過限制最大葉子節點數，可以防止過擬合，預設是"none」，即不限制最大的葉子節點數。
# 如果加了限制，演算法會建立在最大葉子節點數內最優的決策樹。
# 如果特徵不多，可以不考慮這個值，但是如果特徵分成多的話，可以加以限制
# 具體的值可以通過交叉驗證得到。
# 9.class_weight 指定樣本各類別的的權重，主要是為了防止訓練集某些類別的樣本過多
# 導致訓練的決策樹過於偏向這些類別。這裡可以自己指定各個樣本的權重
# 如果使用「balanced」，則演算法會自己計算權重，樣本量少的類別所對應的樣本權重會高。
# 10.min_impurity_split 這個值限制了決策樹的增長，如果某節點的不純度
# (基尼係數，資訊增益，均方差，絕對差)小於這個閾值
# 則該節點不再生成子節點。即為葉子節點 。
decision_tree_classifier = decisiontreeclassifier()
# train the classifier on the training set
decision_tree_classifier.fit(training_inputs, training_classes)
# validate the classifier on the testing set using classification accuracy
decision_tree_classifier.score(testing_inputs, testing_classes)
決策樹詳解
一 原理 決策樹是一種非引數的監督學習方法，它主要用於分類和回歸。決策樹的目的是構造一種模型，使之能夠從樣本資料的特徵屬性中，通過學習簡單的決策規則 if then規則，從而 目標變數的值。圖1 決策樹 例如，在某醫院內，對因心臟病發作而入院 的患者，在住院的前24小時內，觀測記錄下來他們的19個特...
決策樹演算法
決策樹是一種樹型結構，其中每個內部結點表示在乙個屬性上的測試，每個分支代表乙個測試輸出，每個葉結點代表一種類別。決策樹學習是以例項為基礎的歸納學習，採用的是自頂向下的遞迴方法，其基本思想是以資訊熵為度量構造一棵熵值下降最快的樹，到葉子結點處的熵值為零，此時每個葉節點中的例項都屬於同一類。決策樹學習演...
決策樹演算法
本文主要介紹id3 c4.5和cart演算法 決策樹起源於概念學習系統 cls 概念學習模型 是乙個事先定義的範疇集合和一些有關例子是否落入給定範疇的判定 概念學習的主要任務 是判斷所給定事物的屬性或特性,並且正確地區分這些事物,將其劃分到某乙個範疇 對於如下決策樹模型 我們首先考慮他的屬性outl...