作者 | 荔枝boy
編輯 | 安可
一、inception網路簡介
二、inception網路模組
三、inception網路降低引數計算量
四、inception網路減緩梯度消失現象
五、inception網路框架
六、inception**彩蛋
一、inception網路簡介
inception網路又叫做googlenet,之所以不叫googlenet，是為了向lenet致敬,是2023年christianszegedy在《going deeper with convolutions》提出的一種全新的深度學習結構。
一般來說，提公升網路效能最保險的方法就是增加網路的寬度和深度，這樣做同時也會伴隨著***。首先越深越寬的網路往往會意味著有巨大的參數量，當資料量很少的時候，訓練出來的網路很容易過擬合，並且當網路有很深的深度的時候，很容易造成梯度消失現象這兩個***制約著又深又寬的卷積神經網路的發展，inception網路很好的解決了這兩個問題。
二、inception網路模組
下圖是inception中的乙個模組，inception由多個這樣的模組組合而成的。
inception網路結構中其中乙個模組是這樣的：在同一層中，分別含有1*1、3*3、5*5卷積和池化層，在使用濾波器進行卷積操作與池化層進行池化操作時都會使用padding以保證輸出都是同尺寸大小，經過這些操作後輸出的結果也就是特徵圖featuremap再全部整合在一起。該模組的特性就是在同一層中，分別通過使用上述不同尺寸的濾波器與進行池化操作收集到了上一層輸入的不同特徵。這樣就增加了網路的寬度，用這些不同尺寸的濾波器和池化操作去提取上一層的不同特徵。
但是這樣存在乙個問題，經過這樣乙個模組後，輸出的特徵圖往往很大，濾波器引數的預設計算是濾波器的尺寸n*n*深度的，深度等於上一層的特徵圖的個數，這樣用不了幾層就會造成引數過多並且計算量過大的問題，為了解決這個問題，使用了如下的構造：
相比於上乙個原始的inception模組，維度減少模型中在3*3卷積層和5*5卷積層前增加了1*1的卷積層，並在池化層後增加了1*1的卷積層。這樣做的意義是減少了參數量，避免了每層的計算量過大。
三、inception網路降低引數計算量
1*1卷積降低引數和計算量：
如上圖所示，針對5*5卷積的這一層，不包含1*1的卷積模組時，參數量為5*5*256*64=409600個引數，連線數為(5*5*256+1)*64*n*n=409664*n*n個。而包含1*1的卷積模組時，參數量為1*1*256*32+5*5*32*64=59392個引數，連線數為（（1*1*256+1）*32*n*n+(5*5*32+1)*64*n*n）=59488*n*n個。由此可見，包含1*1的卷積模組比不包含的引數數量和計算量要少很多。
inception網路在增加了網路寬度，每一層都用不同的卷積池化去提取上一層特徵圖的特徵，並且採用了在3*3和5*5卷積前，池化層後新增1*1卷積，可以有效避免了複雜的引數和計算量。這樣inception很好的緩和了因擴大網路寬度而造成的計算量過大和過擬合問題。
四、inception網路減緩梯度消失現象
inception網路框架中會有額外的兩個softmadx**層，這兩個**層分別是從網路框架中間部分引出的分支，用於反向傳播更新梯度，這樣就避免了因梯度消失導致淺層的網路引數無法更新。注意這兩個分支只在訓練的時候防止梯度消失會用到，真正做**的時候需要刪除。
五、inception網路框架
六．inception**彩蛋
以上就是關於inception網路的介紹，順便說一下christian szegedy在發表該網路的**《going deeper with convolutions》中附了乙個小彩蛋，就是下圖，表明了往更深層次網路架構發展的決心，其實將該網路取名inception，就是《盜夢空間》的名稱。
十分鐘學會less
譯者 wleonardo 我們都知道在大型的專案中，當css有數千行 的時候，css的編寫有一些麻煩。我們經常會出現複製相同的 到不同的地方或者通過我們的編輯器來替換所有相同的顏色。這需要我們費很大的力氣去保持css的可維護性。但是其實我們並不是一定要這樣。幸運的是，web開發社群已經解決了這個問題...
十分鐘學會Excel匯出
excel匯出在內網系統一般用的很多,一般分為poi和jxl兩種,前者支援excel2003 xls 和excel2007 xlsx 而後者只支援excel2003 xls 所以我們這裡使用poi來做excel 的匯出 我們以匯出員工資訊的資料為例子 第一步 匯入poi的jar包 第二步,在前台寫乙...
課間十分鐘
時間限制 1000 ms 記憶體限制 128 mb 兩人都是數學愛好者，便發明了乙個遊戲。在遊戲開始前，他們先約定乙個正整數n，同時令m 1。遊戲過程中，每個人都可以將m的值擴大2到9中的任意倍數。第乙個使m n的人就是最後的贏家。181818181818和zbt都十分聰明，並且遊戲過程中都使用最佳...