分類樹和回歸樹的區別

2021-06-29 08:09:31 字數 661 閱讀 7631

分類樹

以c4.5分類樹為例,c4.5分類樹在每次分枝時,是窮舉每乙個feature的每乙個閾值,找到使得按照feature<=閾值,和feature>閾值分成的兩個分枝的熵最大的閾值(熵最大的概念可理解成盡可能每個分枝的男女比例都遠離1:1),按照該標準分枝得到兩個新節點,用同樣方法繼續分枝直到所有人都被分入性別唯一的葉子節點,或達到預設的終止條件,若最終葉子節點中的性別不唯一,則以多數人的性別作為該葉子節點的性別。

總結:分類樹使用資訊增益或增益比率來劃分節點;每個節點樣本的類別情況投票決定測試樣本的類別。

回歸樹

回歸樹總體流程也是類似,區別在於,回歸樹的每個節點(不一定是葉子節點)都會得乙個**值,以年齡為例,該**值等於屬於這個節點的所有人年齡的平均值。分枝時窮舉每乙個feature的每個閾值找最好的分割點,但衡量最好的標準不再是最大熵,而是最小化均方差即(每個人的年齡-**年齡)^2 的總和 / n。也就是被**出錯的人數越多,錯的越離譜,均方差就越大,通過最小化均方差能夠找到最可靠的分枝依據。分枝直到每個葉子節點上人的年齡都唯一或者達到預設的終止條件(如葉子個數上限),若最終葉子節點上人的年齡不唯一,則以該節點上所有人的平均年齡做為該葉子節點的**年齡。

總結:回歸樹使用最大均方差劃分節點;每個節點樣本的均值作為測試樣本的回歸**值。

回歸樹和分類樹區別

分類樹 以c4.5分類樹為例,c4.5分類樹在每次分枝時,是窮舉每乙個feature的每乙個閾值,找到使得按照feature 閾值,和feature 閾值分成的兩個分枝的熵最大的閾值 熵最大的概念可理解成盡可能每個分枝的男女比例都遠離1 1 按照該標準分枝得到兩個新節點,用同樣方法繼續分枝直到所有人...

回歸樹和分類樹的區別

分類樹 以c4.5分類樹為例,c4.5分類樹在每次分枝時,是窮舉每乙個feature的每乙個閾值,找到使得按照feature 閾值,和feature 閾值分成的兩個分枝的熵最大的閾值 熵最大的概念可理解成盡可能每個分枝的男女比例都遠離1 1 按照該標準分枝得到兩個新節點,用同樣方法繼續分枝直到所有人...

分類樹和回歸樹的區別

以c4.5分類樹為例,c4.5分類樹在每次分枝時,是窮舉每乙個feature的每乙個閾值,找到使得按照feature 閾值,和feature 閾值分成的兩個分枝的熵最大的閾值 熵最大的概念可理解成盡可能每個分枝的男女比例都遠離1 1 按照該標準分枝得到兩個新節點,用同樣方法繼續分枝直到所有人都被分入...