機器學習演算法 決策樹

決策樹的使用主要是用於分類。

年齡收入

信用是否學生

是否買電腦年輕高

高是是中年

低中否否

老年中低否

是對於一些適合分類的資料中，考慮各種因素對結果的影響大小進行決策，一般是先選取區分度較高的因素。

比如說，年齡大小這個因素在很大程度上影響我們的結果--是否買電腦。那麼，年齡因素將作為第乙個決策因素出現。

年齡大                                          小                                         中

影響因素的大小判斷規則就是資訊熵。

資訊熵是一種不確定性的量度方法，不確定性越高，資訊熵越大。h =  - (p1*logp1 + p2*logp2 + ....+)

資訊熵的變化就是沒有考慮該因素前的資訊熵減去考慮了該因素的資訊熵。

h△ = h - h'

使用資訊熵是id3演算法，還有cart和c4.5需要進一步學習。

機器學習演算法 決策樹

決策樹類似一中策略或者條件選擇，其中各個節點代表選擇條件，各個葉子結點代表可能達到的結果，決策樹 decision tree 是乙個樹結構 可以是二叉樹或非二叉樹 其每個非葉節點表示乙個特徵屬性上的測試，每個分支代表這個特徵屬性在某個值域上的輸出，而每個葉節點存放乙個類別。使用決策樹進行決策的過程就...

機器學習演算法 決策樹

1 決策樹直觀理解 假設，已知10人房產 婚姻 年收入以及能否償還債務的樣本，那麼第11個人來，知其房產 婚姻 以及年收入情況，問他是否能償還債務？2 前置知識 理解決策樹，我們必須知道一下概念 資訊熵 描述系統的不確定度，熵越高，代表系統越混亂，包含的資訊量也就越多，其公式 例 計算前10個樣本能...

機器學習 演算法 決策樹

決策樹是一種機器學習的方法。決策樹的生成演算法有id3,c4.5和cart等。決策樹是一種樹形結構，其中每個內部節點表示乙個屬性上的判斷，每個分支代表乙個判斷結果的輸出，最後每個葉節點代表一種分類結果。決策樹是一種十分常用的分類方法，需要監管學習 有教師的supervised learning 監管...