機器學習基礎學習 決策樹

2021-08-27 00:12:55 字數 488 閱讀 2920

決策樹是一種基本的分類與回歸方法,它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種,分類樹對離散變數做決策樹,回歸樹對連續變數做決策樹。

決策樹分類器就像判斷模組和終止塊組成的流程圖,終止塊表示分類結果(也就是樹的葉子)。判斷模組表示對乙個特徵取值的判斷(該特徵有幾個值,判斷模組就有幾個分支)。

一棵決策樹的生成過程主要分為以下3個部分:

:給了我們一種度量不確定性的方式,是用來衡量隨機變數不確定性的,設x是乙個取有限個值的離散隨機變數,他的概率分布為

p(x=xi)= pi i=1 2 3 4 ….n

則隨機變數的熵就定義為 :

機器學習基礎學習 決策樹

決策樹是一種基本的分類與回歸方法,它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種,分類樹對離散變數做決策樹,回歸樹對連續變數做決策樹。決策樹分類器就像判斷模組和終止塊組成的流程圖,終止塊表示分類結果 也就是樹的葉子 判斷模組表示對乙個特徵取值的判斷 該特徵有幾個值,判斷模組就有幾個分支 一...

機器學習基礎學習 決策樹

決策樹是一種基本的分類與回歸方法,它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種,分類樹對離散變數做決策樹,回歸樹對連續變數做決策樹。決策樹分類器就像判斷模組和終止塊組成的流程圖,終止塊表示分類結果 也就是樹的葉子 判斷模組表示對乙個特徵取值的判斷 該特徵有幾個值,判斷模組就有幾個分支 一...

機器學習基礎 決策樹

決策樹演算法是機器學習中最經典的演算法之一。大家可能聽過一些高深的演算法,例如在競賽中經常使用的xgboost 各種整合演算法等,他們都是基於樹模型來建立的,所以掌握那些模型,首先我們需要掌握決策樹。樹 有乙個根節點,由根結點開始,不斷的擴充套件,最終到達葉子結點,葉子結點就是最終的點,後面就無法擴...