整合演算法(隨機森林) 知識整理

2021-09-11 21:37:31 字數 1057 閱讀 3492

boosting模型

stacking模型

小結該方法不太適合,使用這種方法很難去隨機讓模型的泛化能力變強。(具體介紹之後補充)

該模型典型代表有adaboost,xgboost後者在以後哦的資料分析中具體說明。

adaboost會根據前一次的分類效果調整資料的權重

最終結果:每個分類器根據自身的準確性來確定各種的權重,再結合

例項: 01

2340.2

0.20.2

0.20.2

開始我們給這些資料的權重是相同的,當進行**後:01

2340.2

0.20.2

0.20.2√×

√√√發現 1 資料出錯了,此時我們再調成權重:01

2340.1

0.60.1

0.10.1

大致上是這樣乙個思想。然後每個分類器都會有優劣,好的分類器權重越大,差的越小。

model12

34rf1

010lr

1010

svm110

0xgboost00

10第二階段:結果訓練

( 10

1010

1011

0000

10)→

lr(1

010)

(2)\left( \begin 1 & 0 & 1& 0 \\ 1 & 0 & 1& 0 \\ 1 & 1 & 0& 0 \\ 0 & 0 & 1& 0 \end \right ) \tag \xrightarrow \left( \begin 1 & 0 & 1& 0 \end \right )

⎝⎜⎜⎛​1

110​

0010

​110

1​00

00​⎠

⎟⎟⎞​

lr​(

1​0​

1​0​

)(2)

如果資料分析時沒有太好的方法做回歸,推薦先使用隨機森林看看效果。此外,整合演算法看著比較全面,適合數學建模使用。具體的實現方式,在titanic分析中展示。

整合演算法 隨機森林

這一節,我們來聊聊隨機森林演算法,雖然我對這些演算法的理解也不是很深,但還是決定寫一寫。首先,整合演算法是指多種演算法的集合,因為單一的演算法在處理某種問題時,可能會有所限制,整合演算法會綜合多種演算法的結果,得到乙個均值,效果往往會比單一演算法好一些。前面我們討論過決策樹,那隨機森林就不難理解,它...

day3 整合演算法與隨機森林

目的是讓最終的結果越好 bagging 訓練多個分類器然後取平均 並行的訓練平行的分類器,比如隨機森林 f x 1m m 1 mfm x f x frac sum f m x f x m 1 m 1m fm x booting 從弱學習器開始強化,通過加權來進行訓練 f m x f m 1 argm...

隨機迷宮生成演算法整理分析

蒐集整理了一些遊戲迷宮生成的演算法與實現 前段時間學校遊戲開發課大作業,做了乙個roguelike的恐怖遊戲。蒐集整理了一些迷宮生成的演算法。當初也受了indienova上一些文章的啟發。現在在此把學到的一些東西理一理分享出來。第一次寫這種東西,感覺有點囉嗦,還請大家不要介意,也可以直接看專案位址 ...