如圖上半部分所示，它原本是乙個訓練影象識別的網路，該網路經過大量的資料的訓練已經得到了一組引數。
現在我們去掉其最後一層(僅有乙個神經元，可能使用的是logistic regression)，新增乙個新的神經元。然後用radiology diagnosis的資料(x,y)(x表示影象，y表示診斷)餵給它，希望它能快速成為乙個解決radiology diagnosis問題的深度網路。這就是遷移學習的乙個簡單示例，對之前網路所做的工作稱為預訓練(pre-training)，遷移之後所做的工作稱為微調fine-tuning(博主個人覺得這個應該叫做後微調，與預訓練相對)。
如圖上半部分，是另外乙個領域的例子，這個例子說明，你可以對網路的後半部分結構做更大的改動，比如刪掉最後一層後增加三層，更改倒數第二層、第三層等等。
遷移學習 自我學習
最近在看ng的深度學習教程，看到self taught learning的時候，對一些概念感到很陌生。作為還清技術債的乙個環節，用半個下午的時間簡單搜了下幾個名詞，以後如果會用到的話再深入去看。監督學習在前一篇部落格中討論過了，這裡主要介紹下遷移學習 自我學習。因為監督學習需要大量訓練樣本為前提，同...
深度學習 遷移學習
遷移學習 把公共的資料集的知識遷移到自己的問題上，即將已經訓練好的模型的一部分知識 網路結構 直接應用到另乙個類似模型中去 小資料集 利用遷移學習，應用其他研究者建立的模型和引數，用少量的資料僅訓練最後自定義的softmax網路。從而能夠在小資料集上達到很好的效果。例如 imagenet 資料集，它...
遷移學習 domain adaption
一 概念 1 learning from scratch 即學乙個cnn網路with random initialization 2 在新的學習任務中，可以利用現有訓練好的imagenet網路提取特徵，去掉最後乙個分類的全連線層，在classifier層之前提取4096維的特徵，這些特徵稱為cnn ...