歷史回顧：2023年提出的cart，2023年提出的id3，2023年提出的c4.5
理論上總的來說，
c4.5是基於id3優化後產出的演算法，主要優化了關於節點分支的計算方式，優化後解決了id3分支過程中總喜歡偏向取值較多的屬性
id3是資訊增益分支：
而cart一般是gini係數分支：
c4.5一般是資訊增益率分支：
工程上總的來說：
cart和c4.5之間主要差異在於分類結果上，cart可以回歸分析也可以分類，c4.5只能做分類；c4.5子節點是可以多分的，而cart是無數個二叉子節點；
以此拓展出以cart為基礎的「樹群」random forest ， 以回歸樹為基礎的「樹群」gbdt
樣本資料的差異：
id3只能對分類變數進行處理，c4.5和cart可以處理連續和分類兩種自變數
id3對缺失值敏感，而c4.5和cart對缺失值可以進行多種方式的處理
只從樣本量考慮，小樣本建議考慮c4.5、大樣本建議考慮cart。c4.5處理過程中需對資料集進行多次排序，處理成本耗時較高，而cart本身是一種大樣本的統計方法，小樣本處理下泛化誤差較大
目標因變數的差異：
id3和c4.5只能做分類，cart（分類回歸樹）不僅可以做分類（0/1）還可以做回歸（0-1）
id3和c4.5節點上可以產出多叉（低、中、高），而cart節點上永遠是二叉（低、非低）
樣本特徵上的差異：
特徵變數的使用中，多分的分類變數id3和c4.5層級之間只單次使用，cart可多次重複使用
決策樹產生過程中的優化差異：
c4.5是通過枝剪來修正樹的準確性，而cart是直接利用全部資料發現所有樹的結構進行對比
本文**
決策樹 ID3構建決策樹
coding utf 8 from math import log import operator 建立訓練資料集 defcreatedataset dataset 1,1,yes 1,1,yes 1,0,no 0,1,no 0,1,no 資料集的最後乙個元素作為該資料的標籤，是否是魚 labels...
機器學習 決策樹C4 5 ID3
step1 計算資訊熵 step2 劃分資料集 step3 建立決策樹 step4 利用決策樹分類 重點 選擇乙個屬性進行分支。注意資訊熵計算公式。決策樹作為典型的分類演算法，基本思路是不斷選取產生資訊增益最大的屬性來劃分樣例集和，構造決策樹。資訊增益定義為結點與其子結點的資訊熵之差。1.資訊熵計算...
決策樹演算法ID3，C4 5， CART
決策樹是機器學習中非常經典的一類學習演算法，它通過樹的結構，利用樹的分支來表示對樣本特徵的判斷規則，從樹的葉子節點所包含的訓練樣本中得到 值。決策樹如何生成決定了所能處理的資料型別和 效能。主要的決策樹演算法包括id3，c4.5，cart等。id3是由 ross quinlan在1986年提出的一種...