決策樹連續值的處理

| 連續值處理

因為連續屬性的可取值數目不再有限，因此不能像前面處理離散屬性列舉離散屬性取值來對結點進行劃分。因此需要連續屬性離散化，常用的離散化策略是二分法，這個技術也是c4.5中採用的策略。下面來具體介紹下，如何採用二分法對連續屬性離散化：

下面舉個具體的例子，來看看到底是怎樣劃分的。給定資料集如下（資料集來自周志華《機器學習》，我已經把資料集放到github上了，位址為：西瓜資料集3.0）：

對於資料集中的屬性「密度」，決策樹開始學習時，根節點包含的17個訓練樣本在該屬性上取值均不同。我們先把「密度」這些值從小到大排序：

根據上面計算

下面開始計算t 取不同值時的資訊增益：

對屬性「含糖率」，同樣的計算，能夠計算出：

再由第一篇部落格中決策樹（一）計算得到的各屬性的資訊增益值：

比較能夠知道紋理的資訊增益值最大，因此，「紋理」被選作根節點劃分屬性，下面只要重複上述過程遞迴的進行，就能構造出一顆決策樹：

**有一點需要注意的是：與離散屬性不同，若當前結點劃分屬性為連續屬性，該屬性還可作為其後代結點的劃分屬性。**如下圖所示的一顆決策樹，「含糖率」這個屬性在根節點用了一次，後代結點也用了一次，只是兩次劃分點取值不同。

決策樹 連續值的處理