卷積神經網路是深度學習網路中的一種，被廣泛應用在影像處理中。其實對於影象處理方面的問題，使用全連線前饋網路也能實現近似的效果，但是cnn較全連線前饋網路更進一步簡化了神經網路的構架，是人們通過影象處理的特徵和總結出來的經驗進行簡化的，具體特徵是：①有一些紋理比整張小得多，某些紋理並不需要看整張就能夠被識別出來；②一張中同樣的紋理可能出現在不同的區域，識別乙個紋理可以共用乙個引數；③可以被縮小，並不會影響識別結果。
cnn處理過程可以概括為：輸入->卷積->最大池->卷積->最大池->...->降維(flatten)->全連線前饋網路->識別結果，其中具體經過多少次卷積和池化的過程是在設計網路階段就已經決定了的。
卷積層中的引數是由一組濾波器(filter)組成，每個濾波器實質是乙個矩陣。這個濾波器矩陣不一定是二維的，濾波器矩陣可能還會有「深度」，具體「深度」等於輸入的「深度」，例如黑白的「深度」為1，彩色的深度為3(rgb)。濾波器在運算時，會「劃過」輸入的每乙個位置，計算內積，在「劃過」的過程中，在橫向移動和縱向移動時一次運動幾個畫素點是提前定好的。乙個有乙個濾波器計算出來的所有內積根據位置組合成乙個新的矩陣，通過所有濾波器得到的新的矩陣集合，稱為feature map。有多少濾波器，feature map就有多少層。乙個濾波器計算出來的內積值越大，說明在中這個位置的紋理與濾波器所識別的越接近。
卷積層可以看做是全連線層中一些神經元減少了一些輸入，所以卷積層就減少了引數的使用，同時使用同乙個濾波器相當於全連線層中多個神經元共享了一組引數。因此卷積層減少了很大的計算量，效率高於全連線層。
需要注意的是，每乙個濾波器是有深度的，如果前一組卷積和池化的輸出矩陣有深度，則這一卷積層中的濾波器就會有對應的深度，所以最後的輸出的矩陣的層數，依舊只依賴於有多少個濾波器，並不依賴於上一組的輸出。
最大池把卷積層輸出的矩陣集合分塊，每塊的寬高需要事先定好，保留每一塊中的最大值或者取平均值，將沒被選中的元素刪除，這樣就能得到新的且較小的。所以，每通過一次卷積和池化操作，就能得到更小的，這些越來越小的可以理解為是網路自己認為需要從原始中提取出來的特徵。
降維就是將輸入的feature map拉直成乙個向量，輸入到全連線前饋網路裡進行最後的分類運算，輸出為識別成每個類別的概率。
每個濾波器的啟用度(degree of the activation)是它計算出來的矩陣彙總每個元素值之和，如果想要找到一張輸入，使得這個濾波器的啟用度最大，那麼這張一定是遍布著某種同樣的紋理，這個紋理即使這個濾波器所要識別的紋理。之所以會重複遍布滿整張，是因為濾波器識別的是乙個區域，當一張所有的區域都是這個紋理時，這個濾波器的啟用度最大。
而如果是最後的全連線前饋網路中的乙個神經元，如果想要找到一張輸入，使得這個神經元的輸出最大，此時這張會是一整張完整的影象，不再會是遍布滿某個紋理的，因為到最後階段，已經是在經過多次縮小後的整張上進行運算。
李巨集毅機器學習課程筆記 1
機器學習 自動找函式 f input output 1.regression 輸出是乙個數值 2.classification 分類 二分類 多分類 rnn 迴圈神經網路 cnn 卷積神經網路translation 繪二次元圖4.supervised learning 監督學習labeled dat...
李巨集毅機器學習 Introduction
人工智慧是我們想要達到的目標，即讓機器和人一樣智慧型。而機器學習是方法，讓機器從資料中學習，從而得到智慧型的方法。智慧型是什麼呢？對於人類智慧型而言，根據霍華德 加德納的多元智慧型理論，人類的智慧型分為以下七種智慧型 這不僅涵蓋了現在人工智慧的研究領域，計算機視覺 語音識別 自然語言處理等。而且也指...
李巨集毅機器學習attack model 學習筆記
loss函式及限制條件 無目標攻擊 l 負的 y 與y true 交叉熵 輸入的x 使y 與y true越遠越好 有目標攻擊 輸入的x 使y 與y true越遠越好且y 與y false越近越好 限制條件 x與x0距離需要小於乙個值，不被發現，否則攻擊就無意義 攻擊的目標是x在乙個小的變化內使模型失...