基本流程:
決策樹:
根結點:屬性測試，包含樣本全集
內部結點:屬性測試，根據屬性測試的結果被劃分到子結點中
葉結點：決策結果
劃分選擇:如何選擇最優劃分屬性。目標是結點的"純度"越來越高
1.資訊增益：
使用「資訊熵」:
資訊增益越大，意味使用屬性a劃分所獲得的「純度提公升」越大。因此可以使用資訊增益進行決策樹的劃分屬性選擇。即在決策樹演算法的圖中的第八行選擇屬性a*=argmaxgain(d,a)
2.增益率
gain_ratio(d,a)=gain(d,a)/iv(a)
iv(a)=
3.基尼指數
資料集的純度可用基尼值來度量
剪枝:如果能為決策樹帶來泛化效能提公升，則將該子樹替換為葉結點。
預剪枝，後剪枝
連續與缺失值
二分法、
機器學習 決策樹
一 基本概念 決策樹 decision tree 是一種基本的分類與回歸方法。決策樹模型呈樹形結構，在分類問題中，表示屬於特徵對例項進行分類的過程，它可以認為是if then規則的集合，也可以認為是電議在特徵空間與類空空上的條件概率分布，其主要優點是模型具有可讀性，分類速度快。決策樹的學習通常包括3...
機器學習 決策樹
我覺得決策樹是機器學習所有演算法中最可愛的了 沒有那麼多複雜的數學公式哈哈 下圖是一棵決策樹，用來判斷西瓜是好瓜還是壞瓜 決策過程中提出的每個判定問題都是都對某個屬性的測試，每個測試結果要麼推導出最終結論，要麼匯出進一步判斷的問題，在上次決策結果限定的範圍內做進一步判斷。從上圖可以看出，葉節點對應決...
機器學習 決策樹
一 演算法簡介 決策樹一般都是自上而下來生成的，每個決策後事件 即自然狀態 都可能引出兩個或多個事件，導致結果的不同，把這種結構分支畫成形狀很像一棵樹的枝幹，故稱為決策樹。決策樹能夠讀取資料集合，並且決策樹很多任務都是為了資料中所蘊含的知識資訊，因此決策樹可以使用不熟悉的資料集合，並從中提取一系列規...