權值共享這個詞最開始其實是由lenet5模型提出來，在2023年，lecun發布了lenet網路架構，就是下面這個：
雖然現在大多數的說法是2023年的alexnet網路是深度學習的開端，但是cnn的開端最早其實可以追溯到lenet5模型，它的幾個特性在2023年初的卷積神經網路研究中被廣泛的使用——其中乙個就是權值共享。
其實權值共享這個詞說全了就是整張在使用同乙個卷積核內的引數，比如乙個3*3*1的卷積核，這個卷積核內9個的引數被整張圖共享，而不會因為影象內位置的不同而改變卷積核內的權係數。說的再直白一些，就是用乙個卷積核不改變其內權係數的情況下卷積處理整張（當然cnn中每一層不會只有乙個卷積核的，這樣說只是為了方便解釋而已）。
是的，就是這樣，很簡單的乙個操作而已，這樣來說的話，其實影象處理中的類似邊緣檢測，濾波操作等等都是在做全域性共享，那麼為什麼當時要把這個思路拿出來說明一下，然後又給它起了乙個名字呢？
（以下部分是個人理解，如果有不對的地方，還望指正！！）
我們大部分人都是在後知後覺中發現這個問題很簡單，但是只有大神才能做先驅者！lenet首次把卷積的思想加入到神經網路模型中，這是一項開創性的工作，而在此之前，神經網路輸入的都是提取到的特徵而已，就比如想要做乙個房價**，我們選取了房屋面積，臥室個數等等資料作為特徵。而將卷積核引入到了神經網路去處理後，自然而然就會出現乙個問題，神經網路的輸入是什麼？如果還是乙個個畫素點上的畫素值的話，那就意味著每乙個畫素值都會對應乙個權係數，這樣就帶來了兩個問題：
1.每一層都會有大量的引數
2.將畫素值作為輸入特徵本質上和傳統的神經網路沒有區別，並沒有利用到影象空間上的區域性相關性。
而權值共享的卷積操作有效解決了這個問題，無論影象的尺寸是多大，都可以選擇固定尺寸的卷積核，lenet中最大的卷積核只有5*5*1，而在alexnet中最大的卷積核也不過是11*11*3。而卷積操作保證了每乙個畫素都有乙個權係數，只是這些係數是被整個共享的，著大大減少了卷積核中的參數量。此外卷積操作利用了空間上的區域性相關性，這也就是cnn與傳統神經網路或機器學習的乙個最大的不同點，特徵的自動提取。
這也就是為什麼卷積層往往會有多個卷積核（甚至幾十個，上百個），因為權值共享後意味著每乙個卷積核只能提取到一種特徵，為了增加cnn的表達能力，當然需要多個核，不幸的是，它是乙個hyper-parameter。
卷積神經網路的理解
cnn中減少引數的2兩個規則 1 區域性感知。生物學中，視覺皮層的神經元是區域性感知資訊的，只響應某些特定區域的刺激 影象的空間聯絡中，區域性的畫素聯絡較為緊密，距離較遠的畫素相關性較弱。這個對應於演算法中卷積核的大小，mnist手寫識別在28 28的畫素中取patch為5 5。上圖中 左邊是全連線...
如何理解卷積神經網路中的1 1卷積
原文 我們都知道，卷積核的作用在於特徵的抽取，越是大的卷積核尺寸就意味著更大的感受野，當然隨之而來的是更多的引數。早在1998年，lecun大神發布的letnet 5模型中就會出，影象空域內具有區域性相關性，卷積的過程是對區域性相關性的一種抽取。但是在學習卷積神經網路的過程中，我們常常會看到一股清流...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...