二、決策樹的組成部分：
1. 根節點
（比如下圖的「紋理」就是根節點）
2. 內部節點（比如下圖的「根蒂」，「觸感」等屬性就是內部節點）
3. 葉節點（比如下圖的「好瓜」、「壞瓜」等分類就是葉節點）
三、一般的決策過程：
決策過程就是對資料「屬性」的「測試」過程，每個測試的考慮範圍是在上乙個決策的結果範圍之內去考慮。 比如接下來的這個圖：如果已經判斷紋理清晰，則判斷根蒂的時候是在紋理清晰的範圍內
四、決策樹的目的
決策樹的目的是產生一顆泛化能力強的決策樹（個人理解就是產生乙個通用的決策模型）
五、決策樹如何選擇最優劃分屬性
如上圖所示（還是同乙個圖），可能大家會疑問，為什麼我們的根節點是紋理，不是別的屬性（根蒂，觸感等屬性表示不服），這就牽扯到最優劃分屬性這個概念。
最優劃分屬性：
顧名思義，用這個屬性劃分是最好的（到底什麼最好呢），當然是節點純度。在決策的時候還是希望節點包含的樣本屬於同一類（為了省時省力）
度量節點純度的乙個概念叫做「資訊增益」
資訊增益：
資訊熵是用來表示樣本集合純度最常用的一種指標。（樣本純度就是字面意思，樣本都是同一類就純度高，資訊熵的值就低）
資訊熵的計算公式如下：
pk 表示第k類樣本在當前樣本中所佔的比例。
y表示樣本分類個數。
資訊增益公式如下：
v表示屬性
a的幾個可能值，比如觸感有硬滑和軟粘兩種。
dv 則表的是在屬性
a的時候取得樣本數。
d表示所有樣本個數。
資訊增益例子：
資料來自西瓜書
從表可以看出好瓜佔的比例是p1=8/17,壞瓜的比例
p2=9/17,
可以計算出根節點的資訊熵
然後計算各個屬性的資訊增益：本例先計算色澤：由表可知色澤有三個取值：青綠、烏黑、淺白，然後樣本根據這三個值進行劃分。
（同樣是截自西瓜書，主要是公式不好打
）然後計算出「色澤」的資訊增益
同理計算出其他屬性的資訊增益，最後比較得出紋理的最高。所以紋理首先對根節點進行劃分。然後在劃分之後，每個屬性在根據新的樣本進行劃分。
一、名稱定義：
顧名思義，決策樹是基於樹的結構進行的一種決策
二、決策樹的組成部分：
1. 根節點
（比如下圖的「紋理」就是根節點）
2. 內部節點（比如下圖的「根蒂」，「觸感」等屬性就是內部節點）
3. 葉節點（比如下圖的「好瓜」、「壞瓜」等分類就是葉節點）
三、一般的決策過程：
決策過程就是對資料「屬性」的「測試」過程，每個測試的考慮範圍是在上乙個決策的結果範圍之內去考慮。 比如接下來的這個圖：如果已經判斷紋理清晰，則判斷根蒂的時候是在紋理清晰的範圍內去判斷。
四、決策樹的目的
決策樹的目的是產生一顆泛化能力強的決策樹（個人理解就是產生乙個通用的決策模型）
五、決策樹如何選擇最優劃分屬性
如上圖所示（還是同乙個圖），可能大家會疑問，為什麼我們的根節點是紋理，不是別的屬性（根蒂，觸感等屬性表示不服），這就牽扯到最優劃分屬性這個概念。
最優劃分屬性：
顧名思義，用這個屬性劃分是最好的（到底什麼最好呢），當然是節點純度。在決策的時候還是希望節點包含的樣本屬於同一類（為了省時省力）
度量節點純度的乙個概念叫做「資訊增益」
資訊增益：
資訊熵是用來表示樣本集合純度最常用的一種指標。（樣本純度就是字面意思，樣本都是同一類就純度高，資訊熵的值就低）
資訊熵的計算公式如下：
pk 表示第k類樣本在當前樣本中所佔的比例。
y表示樣本分類個數。
資訊增益公式如下：
v表示屬性
a的幾個可能值，比如觸感有硬滑和軟粘兩種。
dv 則表的是在屬性
a的時候取得樣本數。
d表示所有樣本個數。
資訊增益例子：
資料來自西瓜書
從表可以看出好瓜佔的比例是p1=8/17,壞瓜的比例
p2=9/17,
可以計算出根節點的資訊熵
然後計算各個屬性的資訊增益：本例先計算色澤：由表可知色澤有三個取值：青綠、烏黑、淺白，然後樣本根據這三個值進行劃分。
（同樣是截自西瓜書，主要是公式不好打
）然後計算出「色澤」的資訊增益
同理計算出其他屬性的資訊增益，最後比較得出紋理的最高。所以紋理首先對根節點進行劃分。然後在劃分之後，每個屬性在根據新的樣本進行劃分。
決策樹和CART決策樹
首先簡單介紹下決策樹 說到決策樹肯定離不開資訊熵 什麼是資訊熵 不要被這名字唬住，其實很簡單 乙個不太可能的時間居然發生了，要比乙個非常可能的時間發生提供更多的資訊。訊息說 今天早上太陽公升起 資訊量是很少的，以至於沒有必要傳送。但另一條訊息說 今天早上日食 資訊量就很豐富。概率越大資訊量就越少,與...
決策樹（二）決策樹回歸
回歸 決策樹也可以用於執行回歸任務。我們首先用sk learn的decisiontreeregressor類構造一顆回歸決策樹，並在乙個帶雜訊的二次方資料集上進行訓練，指定max depth 2 import numpy as np quadratic training set noise np.r...
決策樹01 決策樹的原理
此筆記根據 machine learning in action 和周志華教授的 機器學習 所作。缺點 可能會產生過度匹配問題。適用資料型別 數值型和標稱型 machine learning in action if so return 類標籤 else 尋找劃分資料集的最好特徵 劃分資料集 建立分...