遷移學習小記

2021-09-27 08:43:11 字數 614 閱讀 4691

在預訓練模型中存在各種特徵資料與權重資訊,有些是與分類識別的物件本身關聯比較緊密的特徵資料與權重資訊,有些是一些比較共性的特徵資料與資訊,是可以被不同的任務或者物件之間共享的。

遷移學習就是要遷移那些共性特徵資料與資訊,從而避免再次學習這些知識,實現快速學習。簡單點說遷移學習主要是實現卷積層共性特徵遷移

一般的遷移學習是這樣的:訓練好乙個網路(我們稱它為base network)→把它的前n層複製到target network的前n層→target network剩下的其他層隨機初始化→開始訓練target task。其中,在做backpropogate(反向傳播)的時候,有兩種方法可以選擇:(1)把遷移過來的這前n層frozen(凍結)起來,即在訓練target task的時候,不改變這n層的值;(2)不凍結這前n層,而是會不斷調整它們的值,稱為fine-tune(微調)。這個主要取決於target資料集的大小和前n層的引數個數,如果target資料集很小,而引數個數很多,為了防止overfitting(過擬合),通常採用frozen方法;反之,採用fine-tune。

(ps:這一段是我複製的,原文很好,這裡貼出鏈結)

Gitlab遷移小記

本來用家裡退休的筆記本,利用ddns,搭建了乙個gitlab自己玩,最近剛好拿到乙個digitalocean的優惠,就把想把它遷移到digitalocean的機器上了 畢竟原本的功耗帶來的成本還是不低的,一天大概要跑一度電,也許更多,那乙個月下來也要30多的開銷了。不過好處就是效能相對vps來說,絕...

伺服器遷移小記

幾個月前收到 digitalocean 發來的郵件,說因為我邀請使用者註冊並達到他的要求,送了我50刀的額度,本來就沒想到它能送,結果不久之前它又送了一次,果斷讓我產生了回到它的懷抱的念頭,畢竟現在 vultr 上的日本伺服器5刀 月,速度也不太理想,還是繞路,還不如拿去買個迅雷會員。遷移主要用到了...

mysql資料儲存目錄遷移小記

背景 因剛開始安裝mysql ok 下面開操作了 注 以下操作均在零晨1點操作,記住先將資料備份成sql檔案 1.service mysqld stop 4.rm rf mysql 把原來的資料目錄刪掉 6.service mysqld start 本以為沒啥問題,執行第6條命令後發現mysql起不...