2023年6月26日 多雲
隨機森林隨筆(一) 粗略地介紹了決策樹學習，下面開始談談隨機森林的構建.
在說到隨機森林之前，還得提到乙個概念：整合學習.
整合學習(ensemble learning)通過構建並結合多個學習器來完成學習任務，有時也被稱為多分類器系統(multi-classifier system)、基於委員會的學習(committee-based learning)等.
整合學習的一般結構是先產生一組「個體學習器」(individual learner)，再用某種策略將它們結合起來，如下圖:
整合有兩種方式，一種是「同質」(homogeneous)整合，另一種是「異質」(heterogenous)整合.
「同質」整合中的個體學習器是由同種的學習演算法生成的，其中的個體學習器稱為「基學習演算法」(base learning algorithm).
「異質」整合中的個體學習器是由不同的學習演算法生成的，其中的個體學習器稱為「元件學習器」(component learner).
整合學習通過將多個學習器進行結合，常常可獲得比單一學習器顯著優越的泛化能力.
根據個體學習器的生成方式，目前的整合學習方法大致可分為兩大類：
①個體學習器間存在強依賴關係、必須序列生成的序列化方法，代表演算法：boosting；
②個體學習器間不存在依賴關係、可同時生成的並行化方法，代表演算法：bagging和「隨機森林」(random forest).
先來談談自舉匯聚法(bootstrapaggregating)，也稱為bagging方法.bagging對訓練資料採用自助取樣法(boostrap sampling)，即有放回地取樣資料(後面會詳細介紹).
對於上面的公式解釋，bagging演算法通常對對回歸任務使用簡單的平均法，分類任務使用簡單的投票法.
後面將說到隨機森林啦，這幾天導師帶我們去撫仙湖玩一趟，暑假也不回去了，七月份繼續寫！
隨機森林隨筆 一
2018年6月20日 多雲 終於開始動筆寫點隨機森林的東西，隨機森林之前也接觸過，但第一次感受到隨機森林的魅力是看了周志華團隊的這篇文章 deep forest towards an alternative to deep neural networks，github上也有原始碼，除錯了一番也跑出來...
隨機森林隨機 三
2018年7月22日 陣雨 感冒發燒喉嚨疼，只因為一杯正常冰的奶蓋！以後得少喝加冰的東西了.前面說的是整合學習的兩種形式，這跟隨機森林有啥關係呢？隨機森林是bagging的乙個擴充套件變體.簡單的來說，當bagging演算法中的base learner為決策樹並在訓練決策樹的過程中加入隨機屬性選擇，...
隨機森林演算法
random forest是加州大學伯克利分校的breiman leo和adele cutler於2001年發表的 中提到的新的機器學習演算法，可以用來做分類，聚類，回歸，和生存分析，這裡只簡單介紹該演算法在分類上的應用。random forest 隨機森林 演算法是通過訓練多個決策樹，生成模型，然...