決策樹中最初的演算法是id3，然後是c4.5，再之後是cart。下面分別介紹其優缺點：
id3：
基本思想：決策樹構建最初最經典的演算法。利用資訊增益選擇特徵向量，構建決策樹。
優點：1、原理簡單易懂，需要了解資訊熵是表示樣本無序的度量方式。
2、構造出的決策樹能夠儲存在磁碟中，再次分類時，可以直接呼叫，無序再次構造。
缺點：1、容易造成過度擬合。
2、只能處理boolean型別的標稱型資料，對連續性資料處理不易。
3、用資訊增益進行最優特徵劃分，導致容易選取特徵值對多的特徵。
c4.5：
基本思想：改進id3，用資訊增益率選擇特徵向量，構建決策樹。
優點：1、能處理標稱型、連續性資料。
2、利用資訊增益率選擇特徵向量，能處理特徵缺失的資料。
3、構造決策樹過程中，進行了剪枝，消除了過度匹配的問題。
缺點：1、構造決策樹，需要對資料進行多次掃瞄和排序，效率低。
2、只適合能留駐記憶體的資料集，當資料集無法在記憶體中容納時，不能執行。
cart：
基本思想：既能用於分類，又能用於回歸。用gini代替了熵增益。是c4.5演算法的改進。
決策樹演算法ID3，C4 5， CART
決策樹是機器學習中非常經典的一類學習演算法，它通過樹的結構，利用樹的分支來表示對樣本特徵的判斷規則，從樹的葉子節點所包含的訓練樣本中得到 值。決策樹如何生成決定了所能處理的資料型別和 效能。主要的決策樹演算法包括id3，c4.5，cart等。id3是由 ross quinlan在1986年提出的一種...
決策樹 ID3,C4 5,CART 原理以及實現
決策樹是一種基本的分類和回歸方法.決策樹顧名思義,模型可以表示為樹型結構,可以認為是if then的集合,也可以認為是定義在特徵空間與類空間上的條件概率分布.上傳失敗.image 2e6565 1543139272117 決策樹的中間節點可以看做是對一種特徵的判斷,也是符合上一次判斷特徵某種取值的資...
感性理解 決策樹ID3 C4 5 CART
決策樹 先舉例子，如下 左子樹熱戀，右子樹單身。決策樹的演算法是如何構建，而不是如何用。決策樹分兩大類分類樹和回歸樹。其中，分類樹比如c4.5 id3決策樹，分類樹用於分類標籤值，那麼回歸樹的話，用於 實際的值比如，溫度，年齡，相關程度。分類樹的輸出是定性的，回歸樹的輸出是定量的。構造決策樹的過程 ...