定義：全連線層（fc）在整個卷積神經網路中起到「分類器」的作用。如果說卷積層、池化層和啟用函式層等操作是將原始資料對映到隱層特徵空間的話，全連線層則起到將學到的「分布式特徵表示」對映到樣本標記空間的作用。在實際使用中，全連線層可由卷積操作實現：對前層是全連線的全連線層可以轉化為卷積核為11的卷積；而前層是卷積層的全連線層可以轉化為卷積核為hw的全域性卷積，h和w分別為前層卷積結果的高和寬。
全連線的核心操作就是矩陣向量乘積：
本質就是由乙個特徵空間線性變換到另乙個特徵空間。目標空間的任一維——也就是隱層的乙個cell——都認為會受到源空間的每一維的影響。不考慮嚴謹，可以說，目標向量是源向量的加權和。
在cnn中，全連線常出現在最後幾層，用於對前面設計的特徵做加權和。比如mnist（是乙個手寫數字資料集，每張都是0-9中的單個數字），前面的卷積和池化相當於做特徵工程，後面的全連線相當於做特徵加權。（卷積相當於全連線的有意弱化，按照區域性視野的啟發，把區域性之外的弱影響直接抹為零影響；還做了一點強制，不同的區域性所使用的引數居然一致。弱化使引數變少，節省計算量，又專攻區域性步貪多求全；強制進一步減少引數。少即是多）在rnn（迴圈神經網路）中，全連線用來把embedding空間拉到隱層空間，把隱層空間轉回label空間等。
在cnn結構中，經多個卷積層和池化層後，連線著1個或1個以上的全連線層．與mlp（多層感知器）類似，全連線層中的每個神經元與其前一層的所有神經元進行全連線。全連線層可以整合卷積層或者池化層中具有類別區分性的區域性資訊。為了提公升cnn網路效能，全連線層每個神經元的激勵函式一般採用relu（線性整理函式）函式。最後一層全連線層的輸出值被傳遞給乙個輸出，可以採用softmax邏輯回歸（softmax regression）進行 分 類，該層也可稱為 softmax層（softmax layer）。對於乙個具體的分類任務，選擇乙個合適的損失函式是十分重要的，cnn幾種常用的損失函式並分析了它們各自的特點。通常，cnn的全連線層與mlp 結構一樣，cnn的訓練演算法也多採用bp演算法
舉個例子：
最後的兩列小圓球就是兩個全連線層，在最後一層卷積結束後，進行了最後一次池化，輸出了20個1212的影象，然後通過了乙個全連線層變成了1100的向量。
這是怎麼做到的呢，其實就是有20100個1212的卷積核卷積出來的，對於輸入的每一張圖，用了乙個和影象一樣大小的核卷積，這樣整幅圖就變成了乙個數了，如果厚度是20就是那20個核卷積完了之後相加求和。這樣就能把一張圖高度濃縮成乙個數了。全連線的目的是什麼呢？因為傳統的網路我們的輸出都是分類，也就是幾個類別的概率甚至就是乙個數–類別號，那麼全連線層就是高度提純的特徵了，方便交給最後的分類器或者回歸。
但是全連線的引數實在是太多了，你想這張圖里就有201212100個引數，前面隨便一層卷積，假設卷積核是77的，厚度是64，那也才7764，所以現在的趨勢是盡量避免全連線，目前主流的乙個方法是全域性平均值。
也就是最後那一層的feature map（最後一層卷積的輸出結果），直接求平均值。有多少種分類就訓練多少層，這十個數字就是對應的概率或者叫置信度。
深度學習 網路正則化
in 1n i 1n yi f xi 2 r d min 1n i 1n yi f xi 2 r d 2 12 22l2 12 222 1 i i l2 1 i i 1 1 2 22 1 1 2 22 2 c 2 原理 對於某層神經元，在訓練階段均以概率p隨機將該神經元權重設定為0，在測試階段所有神...
深度學習網路結構
lenet 一共有五層，兩層卷積加三層全連線，架構如下 卷積部分 均無padding 輸入kernel size stride kernel個數 輸出池化 第一層卷積 32 32 3 5 51 628 28 6 14 14 6 第二層卷積 14 14 6 5 51 1610 10 16 5 5 16...
深度學習 網路訓練技巧
1.1 學習率 learning rate 學習率 是控制模型學習效率 步長 的權重。學習率的大小區分區別 學習率大 學習率小 學習速度快慢 應用場合 訓練初期 數次epoch過後 缺點1.容易損失過大 2.容易發生振盪 1.容易過擬合 2.收斂速度慢 學習率的設定 在訓練過程中，一般根據訓練輪數設...