遷移學習與fine tuning有什麼區別

2022-07-13 14:36:11 字數 544 閱讀 6021

假設你要處理乙個新資料集,讓你做分類,這個資料集是關於flowers的,問題是,資料集中flower的類別很少,資料集中的資料也不多,你發現從零開始訓練cnn的效果很差,很容易過擬合,怎麼辦呢,於是你想到了使用transfer learning,用別人已經訓練好的imagenet的模型來做。

做的方法有很多:

把alexnet裡卷積層最後一層輸出的特徵拿出來,然後直接用svm分類。這是transfer learning,因為你用到了alexnet中已經學到了的「知識」

把vgg net卷積層最後的輸出拿出來,用貝葉斯分類器分類,思想基本同上。

甚至你可以把alexnet,vggnet的輸出拿出來進行組合,自己設計乙個分類器分類。這個過程中你不僅用了alexnet的「知識」,也可以用vggnet的「知識」

最後,你也可以使用fine-tune這種方法,在alexnet的基礎上,重新加上全連線層,再去訓練網路。

綜上,transfer learning關心的問題是:什麼是「知識」以及如何更好的運用之前得到的「知識」。這可以有很多方法和手段,而fine-tune只是其中的一種手段。

遷移學習和fine tuning區別

遷移學習 transfer learning 遷移學習是一種思想,並不是一種特定的演算法或者模型,目的是將已學習到的知識應用到其他領域,提高在目標領域上的效能 fine tuning 在深度學習裡,這僅僅是乙個處理手段,之所以現在大量採用fine tuning,是因為有很多人用實驗證實了 單純從自己...

遷移學習和fine tuning的區別

舉個例子,假設今天老闆給你乙個新的資料集,讓你做一下分類,這個資料集是關於flowers的。問題是,資料集中flower的類別很少,資料集中的資料也不多,你發現從零訓練開始訓練cnn的效果很差,很容易過擬合。怎麼辦呢,於是你想到了使用transfer learning,用別人已經訓練好的imagen...

遷移學習和fine tuning 的關係

一 什麼是遷移學習?遷移學習 transfer learning 顧名思義就是把已訓練好的模型引數遷移到新的模型來幫助新模型訓練。考慮到大部分資料或任務都是存在相關性的,所以通過遷移學習我們可以將已經學到的模型引數 也可理解為模型學到的知識 通過某種方式來分享給新模型從而加快並優化模型的學習效率不用...