隨機森林是在bagging模型下的 而adboost是在boosting模型下的
boosting是通過序列地構造多個個體分類器，然後以一定的方式將他們組合成乙個強學習器
bagging是bootstrap aggregating的縮寫，通過並行地構造多個個體分類器，然後以一定的方式將他們組合成乙個強學習器
這兩個的主要區別就是 乙個是序列的 乙個是並行的 然後再來看隨機森林與adboost
介紹
隨機森林是基於決策樹的整合模型，隨機森林機器學習中最成功的的演算法之一，他能做二分類多分類和回歸任務。隨機森林中整合了很多棵決策樹 目的是為了減少過擬合的風險（減少模型方差）
優點
隨機森林可以像決策樹一樣，處理類別特徵與連續特徵,能擴充套件到多類分類不需要特徵縮放，能捕獲非線性關係和特徵之間的影響
演算法可以並行
定義
adaboost是一種迭代演算法，其核心思想是針對同乙個訓練集訓練不同的分類器(弱分類器),然後把這些弱分類器集合起來,構成乙個更強的最終分類器(強分類器)。
思想
前面的模型對訓練集**後，在每乙個樣本上都會產生乙個不同的損失，adaboost會為每個樣本更新權重，分類錯誤的樣本要提高權重，分類正確的樣本要降低權重，下乙個學習器會更加「關注」權重大的樣本；每一次得到乙個模型後，根據模型在改資料上的表現給當前模型設定乙個權重，表現好的權重大，最終帶權疊加得到最終整合模型。
隨機森林和Adaboost對比
隨機森林和adaboost演算法都可以用來分類，它們都是優秀的基於決策樹的組合演算法。相對於經典線性判別分析，其分類效果一般要好很多。boosting方法 提公升學習 boosting 是一種機器學習技術，可以用於回歸和分類的問題，它每一步產生弱 模型 如決策樹 並加權累加到總模型中 如果每一步的弱...
Bagging與隨機森林
給定包含 m 個樣本的資料集 d，我們對它進行取樣產生資料集 d 每次隨機從 d 中挑選乙個樣本，將其拷貝放入 d 然後再將該樣本放回初始資料集 d 中，使得該樣本在下次取樣時仍有可能被採到 這個過程重複執行 m次後，我們就得到了包含 m 個樣本的資料集 d 這就是自助取樣的結果。顯然，d 中有一部...
CART與隨機森林
一 前言 分類與回歸樹 classification and regression trees,cart 是由leo breiman,jerome friedman,richard olshen與charles stone於1984年提出，既可用於分類也可用於回歸。cart被稱為資料探勘領域內里程碑...