決策樹基本理論

2021-09-22 07:50:19 字數 814 閱讀 9481

決策樹一一種基本的分類與回歸的演算法。呈樹形結構,在分類問題中,表示基於特徵對例項進行分類的過程,可以認為是:if-then 規則的集合,也可以認為是定義在特徵空間與類上的條件概率分布。

主要的優點是:

模型具有可讀性,分類速度快,學習資料時,根據損失函式最小化的原則建立決策樹模型,**時,對性的資料利用建立的決策樹模型進行分類。

決策樹學習通常包括3個步驟:特徵的選擇、決策樹生成,決策樹的修剪

決策樹模型

分類決策樹模型是一種描述對例項進行分類的樹形結構 。決策樹由節點和有向邊組成,節點有兩種型別,內部節點和葉節點

內部節點:表示乙個特徵或者屬性

葉節點:表示乙個類

決策樹學習的演算法通常是乙個遞迴的選擇最優特徵,並根據該特徵對訓練資料進行分割,是對各個子資料集有乙個最好的分類過程,這一過程對應著特徵空間的劃分,也對應這決策樹的構建。

首先,構建根節點,將所有訓練資料都放著根節點上,選擇乙個最優特徵,按照這一特徵將訓練資料集劃分成子集,使得各個子集有乙個在當前條件下的最好的分類,如果這個子集已經能夠基本分類正確,那麼構建葉節點,並將這些子集分到對應的葉節點中去;如果還有子集沒有被基本分類正確,那麼就對這些子集選擇新的最優特徵,繼續對其進行分割,構建相應的節點,如此遞迴下去,直到所有的訓練子集被基本分類正確,或者沒有合適的特徵為止。最後每個子集都被分到葉節點上,即都有了明確的類,這樣就產生了乙個決策樹。

以上方法生成的決策樹可能對訓練集有很好的分類能力,但對未知的測試資料卻未必有很好的分類能力,即可能發生過擬合現象。因此:需要對已經生成的決策樹進行自下而上的剪枝,將樹變得更簡單一點從而使它有更好的泛化能力。

剪枝有兩種方式:預剪枝、後剪枝、

決策樹理論

決策樹學習通常包括3個步驟 分類決策樹是一種描述分類的樹形結構,旨在基於經驗對目標分類做出判斷。圖1.1 決策樹模型 以是否區間相親物件為例對決策樹進行理解,可建立如下的決策樹 構造就是生成一顆完整的決策樹。在構造決策樹的過程中,需要選擇節點的屬性,因此,構造需要解決的問題如下 構造決策樹,選擇結點...

決策樹理論 Decision tree

決策樹面試被提及的題目 1 決策樹的原理 從根結點開始,對例項的某一特徵進行測試,根據測試的結果,將例項分配到其子結點 每乙個子結點對應著該特徵的乙個取值。如此遞迴地對例項進行測試並分配,直至達到葉結點。最後將例項分配到葉結點的類中。2 決策樹的過程 步驟 決策樹學習通常包括3個步驟 特徵選擇 決策...

電磁基本理論

微波指頻率在300mhz到300ghz 對應波長為1m到1mm之間的交流訊號。一些頻段大體分配 波段l波段 1 2ghz s波段2 4ghz c波段4 8ghz x波段8 12ghz ku波段 12 18ghz k波段18 26ghz ka波段 26 40ghz 微波特點 第一方程 不僅傳導電流可以...