一、理論
ref3 chapter 9
ref1 chapter 4
1. 總是搞不清幾種決策樹的名字
名字 劃分選擇
id3 資訊增益
c4.5 增益率
與id3類似，校正了id3偏向於選擇取值較多的特徵的問題
cart 基尼係數
學的是二叉樹，用於 回歸（如最小二乘回歸樹）+分類
2. 決策樹學習三個步驟：特徵選擇，決策樹的生成，決策樹的修剪3.
3. 剪枝：預剪枝+後剪枝
cart預剪枝：ref2 chapter 9.4
cart後剪枝：方法1--ref3 chapter 5.5.2；
方法2--ref2 chapter 9.4 程式9-3
二、 實踐
1. ref2 第3章，id3決策樹，python語言
2. ref2 第9章，cart回歸樹，python
回歸樹 -- 葉節點所用模型是常數；模型樹 -- 葉節點所用模型是回歸方程
ref1 《機器學習》（周志華）
ref2 《機器學習實戰》（peter）
ref3 《統計學習方法》
機器學習 決策樹
一 基本概念 決策樹 decision tree 是一種基本的分類與回歸方法。決策樹模型呈樹形結構，在分類問題中，表示屬於特徵對例項進行分類的過程，它可以認為是if then規則的集合，也可以認為是電議在特徵空間與類空空上的條件概率分布，其主要優點是模型具有可讀性，分類速度快。決策樹的學習通常包括3...
機器學習 決策樹
我覺得決策樹是機器學習所有演算法中最可愛的了 沒有那麼多複雜的數學公式哈哈 下圖是一棵決策樹，用來判斷西瓜是好瓜還是壞瓜 決策過程中提出的每個判定問題都是都對某個屬性的測試，每個測試結果要麼推導出最終結論，要麼匯出進一步判斷的問題，在上次決策結果限定的範圍內做進一步判斷。從上圖可以看出，葉節點對應決...
機器學習 決策樹
一 演算法簡介 決策樹一般都是自上而下來生成的，每個決策後事件 即自然狀態 都可能引出兩個或多個事件，導致結果的不同，把這種結構分支畫成形狀很像一棵樹的枝幹，故稱為決策樹。決策樹能夠讀取資料集合，並且決策樹很多任務都是為了資料中所蘊含的知識資訊，因此決策樹可以使用不熟悉的資料集合，並從中提取一系列規...