談談如何訓練乙個效能不錯的深度神經網路

2021-07-04 11:29:43 字數 733 閱讀 5781

深度學習大火,將各個資料集的state of the art不斷地重新整理,到了開源**一放出,有種全民皆可刷排名的節奏。

不過可別把刷資料想的那麼簡單,不然大家去哪發*****,怎麼混飯吃= = 但是我不想發*****就想佔坑刷資料怎麼辦,看到cifar10都尼瑪刷到了95%了,我這用caffe自帶的小demo才得出78%的結果,caffe你確定不是在騙我?

caffe確實沒在騙你= =今天我給大家介紹一下如何刷出乙個效能接近*****的神經網路

以cnn為例,基本分為三步:

第一步使用leaky relu,dropout(具體參見blog.kaggle.com/2015/01/02/cifar-10-competition-winners-interviews-with-dr-ben-graham-phil-culliton-zygmunt-zajac/)

第二步,資料擾動,將資料上下左右平移,放大縮小,泛綠,泛紅,反色等等,做很多的合理的擾動,

第三步,固定步長學習,直到訓練不動,找乙個高精度的solverstate作為起點,將學習率下降再訓練,按理說降到1e-4就訓練的差不多了

其實當你研究多了就發現,真正提高效能的還是第二步,其他的只能說是錦上添花,資料擾動才是根本,當然這也揭示了分類器本身的缺陷。

當然了,有人問,你網路結構還沒給呢,這個嘛,*****跟實驗接觸多了,自己自然就會設計了,我倒是覺得網路結構不是主要的,因為cnn的致命缺陷其他分類器也都有,要解決只能說是都一起解決。

談談如何訓練乙個效能不錯的深度神經網路

深度學習大火,將各個資料集的state of the art不斷地重新整理,到了開源 一放出,有種全民皆可刷排名的節奏。不過可別把刷資料想的那麼簡單,不然大家去哪發 怎麼混飯吃 但是我不想發 就想佔坑刷資料怎麼辦,看到cifar10都尼瑪刷到了95 了,我這用caffe自帶的小demo才得出78 的...

如何寫出乙個效能優化的單例模式

單例模型是面試當中最常見的一種設計模式,它是一種物件建立模式,用於產生乙個物件的具體例項,可以確保系統中乙個類只產生乙個例項。簡而言之,單例模式可以帶來兩個好處 1 對於頻繁使用到的物件,可以節省反覆建立物件花費的時間 2 減少物件的例項化操作,故而可以降低系統記憶體的使用頻率 根據以上兩點,可看出...

記 vue 表單的乙個效能問題

產品反饋表單頁太卡了,這是乙個有意思的情況,讓我看看。如圖所見,當在 input 輸入資料的時候,連續輸入會感覺明顯的延遲。那個專案最多情況下,表單數量達到千數。筆者在 demo 裡簡化實現,並把表單數量提公升到 10000,把下面的 貼上執行一邊就能得到卡頓效果。眾所周知,vue2 裡的資料使用 ...