本文翻譯自:
正如前文所述, 程式並未實現乙個通用神經網路, 也並非乙個神經網路開發環境. 它其實是乙個非常特殊的網路, 乙個5層卷積神經網路. 輸入層接收 29x29 的灰度手寫數字, 輸出層由10個神經元組成, 判斷結果對應的神經元輸出1, 其餘輸出-1(理想).
cnn是基於"權值共享"的nn. 主要思想是使用乙個小的核窗, 它在前一層的神經元上移動. 在本實現中, 我使用的是5x5的尺寸. 核中的每個元素都有乙個獨立於其他元素的權值. 所以共有25個權值(外加1個偏置). 這個核被前一層的所有神經元共享.
圖例和說明.
下圖是cnn的乙個圖示:
層#1 是乙個卷積層, 擁有6個特徵圖, 每個特徵圖的尺寸為13x13 畫素/神經元. 特徵圖中的每個神經元都是乙個輸入層的5x5的卷積核, 但輸入層中的畫素每隔乙個就被跳過. 結果就是每行每列均有(29-5)/2 + 1 = 13個卷積中心. 所以層#1共有13*13*6 = 1014個神經元和(5x5 +1) * 6 = 156個權值.
另外, 每個神經元都有26個連線(5x5+1), 所以共有1014*26 = 26364個連線. 共享權值的好處在此處顯現: 因為權值是共享的, 儘管有26364個連線, 只需要控制156個權值即可. 如果是全連線的網路, 則有大量的權值需要訓練.
層#2 也是卷積層, 但有50個特徵圖, 每個特徵圖都是5x5的. 所以共有5x5x50 = 1250個神經元, (5x5+1)*6*50 = 7800個權值, 1250x26 = 32500個連線.
在介紹層#3前, 我們需要再講解一些網路的結構, 特別是層#2. 正如上文提及, 每乙個層#2中的特徵圖都連線到前一層的6個特徵圖. 這是乙個設計選擇, 但並非唯一的選擇. 我認為, 設計是和simard博士的設計相同的. 但和lecun博士的設計不同. lecun博士有意地沒有把層#2的每個特徵圖都和前一層的所有特徵圖連線起來, 而是選擇性地連線到前一層的某一些特徵圖上.
層#3 和 層#4 是全連線的層.
本實現的層#4和lecun博士的不同, 他使用的是rbf網路, 但出於簡潔和易於實現的目的, 我選擇的是simard的結構.
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...