訓練一次得到多個模型做整合的方法

2021-08-30 21:54:24 字數 890 閱讀 7892

snapshot ensembles: train 1, get m for free

多個分類器整合可以獲得超過單個分類器的效果,但整合分類器就要求有多個分類器,在訓練速度和測試速度方面不佔優勢。本文提出的方法可以提高整合學習的訓練速度,通過一次訓練,獲得多個分類器,解決了整合學習訓練速度慢的問題。

深度學習訓練過程中,只有經歷足夠長的epoch後,test loss才會隨著lr的降低而降低,這說明loss空間中存在的區域性最小值點是穩定的,這些區域性最小值點的模型從不同方面描述了特徵空間,可以用於整合學習。本文提出的方法主要有以下兩點

採用本文方法獲得的最後乙個階段的模型的效能是低於常規訓練方法得到模型的,但是兩個snapshot整合後test loss就降低到baseline之下

一般隨著整合模型數量的提公升,test loss會逐步降低(不一定成立,只是乙個大的趨勢),但整合多個模型會降低**速度

和標準整合學習(採用不同初始化引數,使用常規學習率更新策略,完整訓練出多個模型做整合)對比,本文的方法效果是沒有標準整合學習好的,當然本文中的方法的訓練速度要快很多

第一次做的

新增 static string connstring server net2 15 net2 database bms uid sa pwd server sqlconnection myconn new sqlconnection connstring protected void page l...

做專案一次差點進去的經歷

寫在之前 我其實是乙個老實人,不會碰瓷,不會撈屍賣錢,也沒有為心愛的遊戲吶喊過。應該大抵就是魯迅先生說的庸人之類的罷。在15年的時候,公司接了乙個湖南的分銷專案 無限級的 那個時候業務知識比較淺薄,分不清什麼叫無限極。只是按照老闆的要求編碼,編碼。那個專案做的比較大,幾百萬級別了。他們的關係也很硬,...

webshell下的一次得到終端賬號和密碼的嘗試

今天老婆相中了乙個 裡面有很多混音,可能聽上去很棒吧,誰知道呢,俺又不喜歡那些東東。由於我整天吹牛說我黑過一些站點,老婆非要我把那些混音搞下來,沒辦法了,為了婚姻幸福,為了我的後半生的衣服有人洗,飯有人做,我就上去看看了。首先來到http spmix.這個分站,隨手開啟裡面的最新熱門檔案,一看url...