深度學習筆記016卷積層基礎之前

2022-09-20 03:33:09 字數 1327 閱讀 9175

對於分類問題,利用mlp會出現模型太大(大到離譜)的問題。比如你分類貓狗的模型的引數比世界上所有的狗和貓都多,這顯然是不對的。

1、平移不變性

2、區域性性

「卷積就是乙個特殊的全連線層」

總結:乙個系統,輸入是不穩定的,輸出是穩定的,那麼我們就可以用卷積來求這個系統的存量。

跳出吃飯、消化這個例子,我們可以將吃飯看作不穩定輸入,消化看作穩定輸出,也就是f看作不穩定輸入,g看作穩定輸出,在影象處理裡,f就是不穩定的影象輸入,g就是穩定的卷積核。就像不同時間吃的不同的飯會影響消化是在看不穩定輸入是如何影響穩定輸出的一樣,影象的卷積,其實也是在看多個畫素點是如何影響乙個畫素點的(即卷積核中心的點)。

對於卷積核卷到的一組卷積核大小的畫素,我們可以用f(x,y)表示他;卷積核用g(常數,常數)表示,最終的f(x,y)就等於:

可以發現,第乙個(x-1,x-1)對應的是(1,1),而在影象上,這倆並不在一起,但是具有乙個旋轉(卷一下)180度的位置對應關係。將卷積核「卷」180度,最終乘法關係就與原影象的位置相對應,所以是先捲再積,此謂「卷積」。

卷積的本質:

沐神:重新考察全連線層

對於以前的權重矩陣,加入了寬度和高度,因此將二維擴充套件到4維,剩下的實在沒研究明白,再說。

我理解的就是,將輸入的影象的ij抹去,其實就是用ab大小去重複填充抹去的內容,被抹去的位置與存在的ab位置共享引數,但還是很模糊,不理解。

對全連線層使用平移不變性和區域性性就可以得到卷積層:

行了,撐不住了,理解不了,先到這。

深度學習筆記(24) 卷積層

乙個典型的卷積神經網路的卷積層,而通常有三層 首先介紹的是卷積層conv,從conv的向前傳播開始 前向傳播中乙個操作就是 z 1 w 1 a 0 b 1 其中 a 0 x 執行非線性函式得到 a 1 即 a 1 g z 1 這裡的輸入是a 0 也就是x,這些過濾器用變數 w 1 表示 在卷積過程中...

深度學習筆記017卷積層

看到一句話,其實卷積層就是一種濾波器,放大它感興趣的,縮小它不感興趣的,很有道理。二維卷積層的數學表達 這裡這個w其實就是kernel,是在這裡通過這種方式學習出來的引數,表現出來的就是乙個矩陣。b是偏差,通過廣播機制作用給y。二維交叉和二維卷積,就差乙個翻轉的關係 為了簡單,我們把負號刪掉了。所以...

深度學習介紹(四)卷積操作

接下來介紹一下,cnns是如何利用空間結構減少需要學習的引數數目的 如果我們有一張1000x1000畫素的影象,有1百萬個隱層神經元,那麼他們全連線的話 每個隱層神經元都與影象的每乙個畫素點相連 這樣就有1000x1000x1000000 10 12個連線,也就是10 12個權值引數。然而影象的空間...