機器學習之決策樹

決策樹：一種對例項進行分類的樹形結構，通過多層判斷區分目標所屬類別

本質：通過多層判斷，從訓練資料集中歸納出一組分類規則

優點：

缺點：

資訊熵(entropy)：是度量隨機變數不確定性地指標，熵越大，變數地不確定性就越大。假定當前樣本集合d中第k類樣本所佔的比例為pk,則d的資訊熵為：

目標：劃分後樣本分佈不確定性盡可能小，即劃分後資訊熵小，資訊增益大

假設給定訓練資料集

d =

其中，xi =(xi(1),xi(2),…,xi(m))t為輸入例項，m為特徵個數，

yi ε為類標記，i = 1,2,…,n,n為樣本容量。

目標：根據訓練資料集構建乙個決策樹模型，使它能夠對例項進行正確的分類。

問題核心：特徵選擇，每乙個節點，應該選用哪乙個特徵。

三種求解方法：id3、c4.5、cart

id3:利用資訊熵原理選擇資訊增益最大的屬性作為分類屬性，遞迴地拓展決策樹地分枝，完成決策樹地構造

#模型訓練

from sklearn import tree
dc_tree = tree.decisiontreeclassifier(
criterion =
'entropy'
, min_samples_leaf =5)
dc_tree.fit(x,y)
)# 視覺化決策樹：
tree.plot_tree(dc_tree,filled =
'true'
feature_names =
['sepallength'
,'sepalwidth'
,'petallength'
,'petalwidth'],
class_names =
['setosa'
,'versicolor'
,'virginica'
])

機器學習之決策樹

在這裡，我想以更直觀的方式幫助各位理解 掌握並且運用 注意 是運用 決策樹，從而為機器學習作鋪墊。ps 但還是希望大家稍微知道決策樹大概是什麼樣子。1.根結點 root node 沒有入邊，但有零條或多條出邊 2.內部結點 internal node 恰有一條入邊和 兩條或多條出邊 3.葉結點 le...

機器學習之決策樹

決策樹是很常見的機器學習分類演算法，竟然叫決策樹，那麼它的模型其實就像樹一樣。通過對樣本集的學習，挖掘出有用的規則。對於程式設計師來說或許以條件語句來看就更好理解了，決策樹可以看成是多個if then條件語句的集合。這種模型等同於我們寫的條件語句，所以它的 分類速度是很快的。來個例子了解下決策樹分類...

機器學習之決策樹

簡介 決策樹是一種基本的分類方法，當然也可以用於回歸。我們一般只討論用於分類的決策樹。決策樹模型呈樹形結構。在分類問題中，表示基於特徵對例項進行分類的過程，它可以認為是if then規則的集合。在決策樹的結構中，每乙個例項都被一條路徑或者一條規則所覆蓋。通常決策樹學習包括三個步驟 特徵選擇 決策樹的...