樹模型是乙個乙個特徵進行處理，之前線性模型是所有特徵給予權重相加得到乙個新的值。
lr 對資料整體結果分析優於決策樹，決策樹對區域性結構的分析優於邏輯回歸。
lr擅於分析線性關係，決策樹對線性關係把握差。決策樹對應非線性，很多非線性可以用線性關係近似。線性關係實現的優點：簡潔，易理解，一定程度防止過擬合。
lr對極端值敏感，易受極端值影響，決策樹可以避免。
都是由多棵樹組成，整合演算法。
最終結果是由多棵決策樹共同決定。
組成隨機森林是分類樹，回歸樹，
gbdt
是由回歸樹組成。
rf並行分成樹，
gbdt
只能序列。
對結果，
rf使用投票，
gbdt
使用加權求和。
rf對異常值不敏感，
gbdt
對異常值敏感。
減小方差提高效能，
gbdt
減小偏差提高效能。
rf對訓練集一視同仁，
gbdt
是基於權值的弱分類器的整合。
rf有行列取樣。
機器學習演算法 1
擬牛頓 bfgs演算法 演算法描述 bfgs演算法與dfp步驟基本相同，區別在於更新公式的差異 def bfgs fun,gfun,hess,x0 功能 用bfgs族演算法求解無約束問題 min fun x 輸入 x0是初始點，fun,gfun分別是目標函式和梯度 輸出 x,val分別是近似最優點和...
機器學習演算法 1
此上最後部分lbfgs演算法的展開式有疑議 正確參考如下圖所示 擬牛頓 l bfgs演算法 擬牛頓法 如bfgs演算法 需要計算和儲存海森矩陣，其空間複雜度是n2，當n很大時，其需要的記憶體量是非常大的。為了解決該記憶體問題，有限記憶體bfgs 即傳說中的l bfgs演算法 橫空出世。h0 是由我們...
機器學習 十六 機器學習演算法總結（1）
監督學習 knn演算法計算測試樣本與訓練集的各樣本的距離，按從小到大取前k個距離排序，然後選擇這k個最相似資料中出現次數最多的分類作為新資料的分類。樸素貝葉斯實現的是概率量化計算的模型，它的解釋是通過對樣本的統計，然後算出某件事a發生的概率和某件事b發生的概率之間的量化關係。決策樹實現的是通過選擇合...