參考資料：[ufldl教(教程)及tornadomeet的部落格
個人**：github位址
當輸入資料的特徵數很大時，若特徵層每個神經元都和所有特徵相連，則需要非常多的引數。例如96*96的影象，學習100個特徵，則有近1,000,000個引數需要學習，對資源的消耗非常巨大。
解決這一問題的方法是部分連通，即每個特徵層的神經元一次只和上一層的部分特徵相連。這是因為影象具有統計特性，影象一部分的特徵很可能也適用於其它部分。例如，在影象上擷取乙個8 \(\times\) 8的小區域，並從中學習到了乙個8 \(\times\) 8大小的權值網路，我們可以將這個權值應用到影象所有區域，來獲得任一位置的啟用值。
對卷積的理解可以結合影象卷積來進行，可以參考這篇部落格。不同的是，在對影象做卷積運算的時候，一般要拓展影象以保證運算前後影象大小不變；而學習特徵則不用，直接卷積即可，卷積後的影象大小為imagedim-convolveddim+1，imagedim是影象在某一方向上的維度，convolveddim是卷積運算元在對應方向上的維度。
卷積關注的是影象的區域性特徵，但是，在描述大影象的時候，需要關注更大範圍內的特徵，因此使用了池化。池化求的是卷積後影象的某個區域的統計特徵（比如最大值最小值或平均值，取決於應用場合）。池化的特徵維度更低，而且可以改善結果，減小過擬合。例如，乙個96 * 96的卷積後的影象，對48 * 48大小的區域進行池化，那麼最終會得到乙個2*2大小的池化層（也稱作下取樣層）。
池化由於關於的是統計特徵，因此具有一定的平移不變性。例如手寫數字，左側或右側平移一點並不影響最終的結果。
本次的練習中，採用的是卷積——池化——softmax結構，實際上，有時候往往會採用卷積——池化——卷積——池化……這樣交織的結構來一步步提取影象的特徵。
池化 和卷積
在卷積神經網路中，我們經常會碰到池化操作，而池化層往往在卷積層後面，通過池化來降低卷積層輸出的特徵向量，同時改善結果 不易出現過擬合 為什麼可以通過降低維度呢？因為影象具有一種 靜態性 的屬性，這也就意味著在乙個影象區域有用的特徵極有可能在另乙個區域同樣適用。因此，為了描述大的影象，乙個很自然的想法...
學習記錄 卷積神經網路 卷積與池化
卷積神經網路是深度學習中最經典的模型之一。當今大多數的深度學習經典模型中都能找到卷積神經網路的影子。卷積和池化可以追溯到lenet 5網路，這是由 lecun等人於1998年所提出的，其中的卷積與池化操作這一概念，對後來的卷積神經網路的發展影響巨大。它的網路結構主要包括卷積層 池化層和全連線層。卷積...
關於卷積和池化
我們可以看到，卷積過程其實還是基於乙個固定的矩陣，在另外乙個矩陣不斷一格一格掃過去的到的數值的和，產生的乙個新的矩陣，我們以作為比較會發現 粉紅色矩陣和綠色矩陣在根本上有很大不一樣，卷積之後的維數降低了.所以規律可以得到 粉紅色最後的卷積結果矩陣維度 綠色矩陣維數 橙色矩陣維數 1 多通道資料的卷積...