遷移學習 自我學習

2021-07-09 06:56:55 字數 971 閱讀 9911

最近在看ng的深度學習教程,看到self-taught learning的時候,對一些概念感到很陌生。作為還清技術債的乙個環節,用半個下午的時間簡單搜了下幾個名詞,以後如果會用到的話再深入去看。

監督學習在前一篇部落格中討論過了,這裡主要介紹下遷移學習、自我學習。因為監督學習需要大量訓練樣本為前提,同時對訓練樣本的要求特別嚴格,要求訓練樣本與測試樣本來自於同一分布。要是滿足不了這要求咋辦?那您看看下面幾種學習方法能不能幫上忙吧。

有時候困擾大家的乙個問題在於訓練資料的標定。這將會耗費大量的人力與物力。另外,機器學習假設訓練資料與測試資料服從相同的資料分布。然而許多情況下,這種同分布假設並不滿足。通常可能發生的情況如訓練資料過期,也就是好不容易標定的資料要被丟棄,而另外有一大堆新的資料要重新標定。遷移學習的目標是將從乙個環境中學到的知識用來幫助新環境中的學習任務。講白了,就是當前只有少量新的標記的資料,但是有大量舊的已標記的資料(甚至是其他類別的有效資料),這時通過挑選這些舊資料中的有效的資料,加入到當前的訓練資料中,訓練新的模型。用一句原話則是:

遷移學習的代表作是《boosting for transfer learning》有關它的介紹可以看這裡,我就不多說啥了,多的我也不懂。

自我學習實現的方法如下圖所示。首先通過未標註的自然影象提取一組特徵(如稀疏字典,sparse coding,很神奇的乙個東西,以後還會再研究)。這樣任何乙個標註和未標註的影象都可以用這組特徵表示出來。由於每乙個標註後的樣本都被表示成了這些特徵------注意這些特徵捕捉了影象的高層結構,將表示後的標註的樣本訓練乙個分類器進行分類。

1.   boosting for transfer learning

2.   self-taught learning: transfer learning from unlabeled data

深度學習 遷移學習

遷移學習 把公共的資料集的知識遷移到自己的問題上,即將已經訓練好的模型的一部分知識 網路結構 直接應用到另乙個類似模型中去 小資料集 利用遷移學習,應用其他研究者建立的模型和引數,用少量的資料僅訓練最後自定義的softmax網路。從而能夠在小資料集上達到很好的效果。例如 imagenet 資料集,它...

MVC自我學習

mvc自我學習 viewdata管理傳值 取值 1 htmlhelper 1 超連結 new 路由引數 new html引數 html.actionlink 關於 about home new new 2 dropdownlist listlist new list new selectlistit...

自我學習 Lambda

lambda運算子 所有的lambda表示式都是用新的lambda運算子 可以叫他,轉到 或者 成為 運算子將表示式分為兩部分,左邊指定輸入引數,右邊是lambda的主體。lambda表示式 1.乙個引數 param expr 2.多個引數 param list expr lambda常用的方法 1...