2019-04-08 13:25:17
在實踐中，很少有人從頭開始訓練整個卷積網路（隨機初始化），因為擁有足夠大小的資料集是相對罕見的。相反，通常在非常大的資料集（例如imagenet，其包含具有1000個類別的120萬個影象）上預先訓練convnet，然後使用預訓練好的convnet作為感興趣的任務的引數初始化或固定特徵提取器。目前主要有種種transfer learning方案如下：
在imagenet上預先訓練乙個convnet，刪除最後乙個完全連線的層（該層的輸出是imagenet等不同任務的1000個類別分數），然後將其餘的convnet視為新資料集的固定特徵提取器。
我們使用預訓練網路初始化網路，而不是隨機初始化，就像在imagenet 1000資料集上訓練的網路一樣。 其餘訓練看起來像往常一樣。
具體來說不僅在新資料集上替換和重新訓練convnet之上的分類器，而且還通過繼續反向傳播來微調預訓練網路的權重。 可以微調convnet的所有層，或者可以保留一些早期層（由於過度擬合問題）並且僅微調網路的某些更高階別部分。 這是因為觀察到convnet的早期特徵包含更多通用特徵（例如邊緣檢測器或顏色斑點檢測器），這些特徵應該對許多任務有用，但後來的convnet層逐漸變得更加特定於類的細節。 包含在原始資料集中。 例如，對於包含許多犬種的imagenet，convnet的代表性功能的很大一部分可以用於特定於區分狗品種的特徵。
遷移學習 自我學習
最近在看ng的深度學習教程，看到self taught learning的時候，對一些概念感到很陌生。作為還清技術債的乙個環節，用半個下午的時間簡單搜了下幾個名詞，以後如果會用到的話再深入去看。監督學習在前一篇部落格中討論過了，這裡主要介紹下遷移學習 自我學習。因為監督學習需要大量訓練樣本為前提，同...
深度學習 遷移學習
遷移學習 把公共的資料集的知識遷移到自己的問題上，即將已經訓練好的模型的一部分知識 網路結構 直接應用到另乙個類似模型中去 小資料集 利用遷移學習，應用其他研究者建立的模型和引數，用少量的資料僅訓練最後自定義的softmax網路。從而能夠在小資料集上達到很好的效果。例如 imagenet 資料集，它...
遷移學習 domain adaption
一 概念 1 learning from scratch 即學乙個cnn網路with random initialization 2 在新的學習任務中，可以利用現有訓練好的imagenet網路提取特徵，去掉最後乙個分類的全連線層，在classifier層之前提取4096維的特徵，這些特徵稱為cnn ...