前面的博文中我們介紹了boosting和bagging兩種整合學習方法，這篇博文中我們繼續學習其他的整合學習方法。當訓練資料很多的時候，一種更為強大的結合策略是使用「學習法」，即通過另外乙個學習器來進行結合。stacking是學習的典型代表。在學習法中將個體學習器稱為初級學習器，用於結合的學習器稱為次級學習器或者元學習器。
stacking先從初始資料集中訓練處初級學習器，然後「生成」乙個新的資料集用於訓練次級學習器。在這個新的資料集中，初級學習器的輸出被當做樣例輸入特徵，而初始樣本的標記仍被當做樣例標記。
在訓練階段，次級訓練集是利用初級學習器產生的，也就是說初級學習器和次級學習器的訓練集不是一樣，否則很容易過擬合。因此，一般通過使用交叉驗證法或者留一法這樣的方式，用訓練初級學習器未使用的樣本來產生次級學習器的訓練樣本。
如以k折交叉驗證為例，我們將初始訓練集
首先訓練初級學習器，假設我們要訓練t個初級學習器，那這t個初級學習器的訓練集是什麼呢？
如上圖所示，引入
其中：其對應的標記仍然為
可能這裡會有點難理解，多解讀幾遍，也能啃下來。
Stacking整合學習法
當訓練資料很多時，一種更為強大的結合策略就是使用 學習法 即通過另乙個學習器來進行結合。stacking 是學習法的典型代表。這裡我們把個體學習器稱為初級學習器，用於結合的學習器稱為次級學習器或者元學習器。stacking先從初始資料集訓練出初級學習器，然後 生成 乙個新資料集用於訓練次級學習器。在...
學習法 費曼學習法
一 提出者 理查德 費曼，理論物理學家，1965年獲得諾貝爾物理學獎，量子電動力學創始人之一，奈米技術之父。二 步驟 費曼學習法可以簡化為四個單詞 target 目標 teach 教授 review 回顧 simplify 簡化 1 目標 確定乙個目標，比如學習一門技術 學習一門語言 學習一節課程。...
西蒙學習法
前兩天在csdn看某位博文的時候，看到了關於西蒙學習法的介紹，今天就上網搜尋來仔細的研究一下。諾貝爾經濟學獎獲得者西蒙教授曾提出了這樣乙個見解 對於乙個有一定基礎的人來說，他只要真正肯下功夫，在6個月內就可以掌握任何一門學問。西蒙教授立論所依據的實驗心理的研究成果表明 乙個人1分鐘到1分半鐘可以記憶...