決策樹面試題

2021-10-08 19:41:31 字數 865 閱讀 3742

沒有。

看這個鏈結

決策樹是一種擁有樹形結構的監督學習分類演算法模型。

結構包含根節點、內部節點和葉子節點。

根節點:代表包含資料集中所有資料的集合;

子節點:經過屬性劃分後產生的非葉子節點,代表經過條件劃分後更加相似的樣本資料;

葉子節點:代表某乙個結果類別,在同乙個類別的樣本資料屬於同乙個類別。(最下面的節點)

同一葉子節點下的樣本會被分類成同一類別,回歸問題則是同樣的回歸值。

優點:

小屁孩都能聽懂的機器學習演算法。

可以處理缺失值。

整合,boosting都可以做

訓練好了之後**速度嗷嗷快。

缺點:

決策樹結果可能不穩定,因為在資料中乙個很小變化可能生成另乙個完全不同的樹。

特徵過多時候容易過擬合。真的很容易過擬合。

處理關聯性較強的特徵時表現不好。

單樹:預剪枝,後剪枝。

決策樹可以理解成在給定條件下類別的概率分布。

不可以,因為這兩種演算法需要計算熵,而數值型特徵沒有熵的概念。如果需要,則必須進行資料分桶。

資訊增益有個缺點,它傾向於選擇類別更多的特徵。

資訊增益的計算涉及log運算,速度慢。而gini指數計算速度快得多,在精準度上,gini比資訊增益比略差,但是還可以接受。

不是無用的,從兩個角度考慮,一是特徵替代性,如果可以已經使用的特徵a和特徵b可以提點特徵c,特徵c可能就沒有被使用,但是如果把特徵c單獨拿出來進行訓練,依然有效. 其二,決策樹的每一條路徑就是計算條件概率的條件,前面的條件如果包含了後面的條件,只是這個條件在這棵樹中是無用的,如果把這個條件拿出來也是可以幫助分析資料。

13.

樹模型 1 決策樹常見面試題整理

1.決策樹的原理 決策樹是一種樹結構,從根節點出發,每個分支都將訓練資料劃分成了互不相交的子集。分支的劃分可以以單個特徵為依據,也可以以特徵的線性組合為依據。決策樹可以解決回歸和分類問題,在 過程中,乙個測試資料會依據已經訓練好的決策樹到達某一葉子節點,該葉子節點即為回歸或分類問題的 結果。從概率論...

決策樹面試總結

1 概括 顧名思義,決策樹就是一棵樹,一顆決策樹包含乙個根節點 若干個內部結點和若干個葉結點 葉結點對應於決策結果,其他每個結點則對應於乙個屬性測試 每個結點包含的樣本集合根據屬性測試的結果被劃分到子結點中 根結點包含樣本全集,從根結點到每個葉子結點的路徑對應了乙個判定測試序列。決策樹學習的演算法通...

決策樹和CART決策樹

首先簡單介紹下決策樹 說到決策樹肯定離不開資訊熵 什麼是資訊熵 不要被這名字唬住,其實很簡單 乙個不太可能的時間居然發生了,要比乙個非常可能的時間發生提供更多的資訊。訊息說 今天早上太陽公升起 資訊量是很少的,以至於沒有必要傳送。但另一條訊息說 今天早上日食 資訊量就很豐富。概率越大資訊量就越少,與...