在整合學習中，結合策略也是影響整合模型效能的重要因素之一。傳統的結合策略有多數投票、加權平均等。stacking的本質是設計合適的結合策略，達到比傳統結合策略更優的整合效果。首先，stacking訓練一組基學習器，用以參與後續的整合構建。其次，演算法將這些學習器的輸出和期望的樣本標籤視為新的學習任務，通過機器學習或其他策略得到乙個新的模型，其中模型的輸入為基學習器的輸出，目的是通過構建的新模型使基學習器的輸出能夠更好的逼近理想輸出。stacking著重於整合學習中的結合策略。
偽**如下所示：
stacking
輸入：
訓練集d=；
基學習器訓練方法；
次級學習演算法；
基學習器個數t；
step1：
根據基學習器訓練方法訓練t個基學習器；
step2：
對t個基學習器的輸出進行整合，將其作為次級訓練集和d´；
step3：
利用次級學習演算法對新訓練集進行訓練，得到次級學習器h； // h可視為各基學習器輸出的加權。
輸出：
次級學習器h。
為了更進一步說明，stacking原理圖如下：
整合學習 stacking
參考文獻 stacking具體的演算法流程 以上圖為例，我們現在有訓練集train x，train y,測試集test 我們首先選擇一種模型比如隨機森林rf。未經訓練 這裡假設把訓練集均分成5份，把其中四份作為小的訓練集s train x,s train y另外乙份作為小的測試集s test,測試集...
Stacking整合學習法
當訓練資料很多時，一種更為強大的結合策略就是使用 學習法 即通過另乙個學習器來進行結合。stacking 是學習法的典型代表。這裡我們把個體學習器稱為初級學習器，用於結合的學習器稱為次級學習器或者元學習器。stacking先從初始資料集訓練出初級學習器，然後 生成 乙個新資料集用於訓練次級學習器。在...
學習法Stacking 機器學習
前面的博文中我們介紹了boosting和bagging兩種整合學習方法，這篇博文中我們繼續學習其他的整合學習方法。當訓練資料很多的時候，一種更為強大的結合策略是使用 學習法 即通過另外乙個學習器來進行結合。stacking是學習的典型代表。在學習法中將個體學習器稱為初級學習器，用於結合的學習器稱為次...