參考文獻：
stacking具體的演算法流程
以上圖為例，我們現在有訓練集train_x，train_y,測試集test
① 我們首先選擇一種模型比如隨機森林rf。（未經訓練）
②這裡假設把訓練集均分成5份，把其中四份作為小的訓練集s_train_x,s_train_y另外乙份作為小的測試集s_test,測試集test不變。
③我們以s_train_x,s_train_y訓練rf模型，訓練出的模型**s_test得出對應的s_pred，再**test得出y_pred。
④在訓練集再選擇另外乙份作為小的測試集s_test_x,其他四份作為訓練集訓練模型rf。
⑤重複②，③，④步驟五次。我們會得到五個s_pred和五個y_pred。
五個s_pred作為乙個train_x，原始的train_y作為train_y訓練模型得到模型g，五個y_pred取個平均值作為新的test_x,把test_x帶入到模型g中得出**結果。
整合學習 Stacking
在整合學習中，結合策略也是影響整合模型效能的重要因素之一。傳統的結合策略有多數投票 加權平均等。stacking的本質是設計合適的結合策略，達到比傳統結合策略更優的整合效果。首先，stacking訓練一組基學習器，用以參與後續的整合構建。其次，演算法將這些學習器的輸出和期望的樣本標籤視為新的學習任務...
Stacking整合學習法
當訓練資料很多時，一種更為強大的結合策略就是使用 學習法 即通過另乙個學習器來進行結合。stacking 是學習法的典型代表。這裡我們把個體學習器稱為初級學習器，用於結合的學習器稱為次級學習器或者元學習器。stacking先從初始資料集訓練出初級學習器，然後 生成 乙個新資料集用於訓練次級學習器。在...
學習法Stacking 機器學習
前面的博文中我們介紹了boosting和bagging兩種整合學習方法，這篇博文中我們繼續學習其他的整合學習方法。當訓練資料很多的時候，一種更為強大的結合策略是使用 學習法 即通過另外乙個學習器來進行結合。stacking是學習的典型代表。在學習法中將個體學習器稱為初級學習器，用於結合的學習器稱為次...