深度學習05 谷歌Inception網路解讀

2021-10-05 22:18:49 字數 1399 閱讀 8938

構建卷積層時,你要決定卷積核的大小究竟是 1×1,3×3 還 是 5×5,或者要不要新增池化層。而 inception 網路的作用就是代替你來決定,雖然網路架

構因此變得更加複雜,但網路表現卻非常好.

同時新增多個濾波器,將每個濾波器輸出疊加一起,作為總輸出,讓網路自己學習它需要什麼樣的引數,採用哪些過濾器組合。

注:多個濾波器輸出的維度應該相同;比如max-pool採取特殊的池化層,保證輸出維度28x28

以5x5卷積核為例:

由上圖知,大概有1.2億引數

新增用1x1卷積層,即"瓶頸層";

瓶頸通常是某個物件最小的部分,瓶頸層也是網路中最小的部分,我們先縮小網路表示,然後再擴大它。

參數量12.4m, 下降為原來的十分之一。

事實證明,只要合理構建瓶頸層,既可以顯著縮小表示層規模,又不會降低網路效能,從而節省了計算。

乙個典型的inception module

注意:池化層後加乙個1x1卷積改變通道數量;

inception網路,就是在不同位置,重複使用inception模組組成。

由**原文可知,還新增了一些分支,在網路最後基層,通常稱為全連線層,之後再鏈結乙個softmax層做**;

這些分支,應該看著inception網路的乙個細節,確保了即便是隱藏單元和中間層也參與了特徵計算,它們也能**分類,也參與了特徵計算,它們能**的分類。

在 inception網路中,起到一種調整的效果,並且能防止網路發生過擬合。

最後,有個有趣的事實,inception 網路這個名字又是緣何而來呢?inception 的**特地提到了這個meme,網路用語即「梗」,就是「我們需要走的更深」(we need to go deeper),

如果你看過 inception(盜夢空間)這個電影,你應該能看懂這個由來。

作者其實是通過它來表明了建立更深的神經網路的決心,他們正是這樣構建了 inception。

model = inceptionv3(weights=

'imagenet'

, include_top=

false

)

深度學習框架谷歌TensorFlow學習筆記一

tensorflow是 谷歌基於distbelief進行研發的第二代 人工智慧 學習系統,其命名 於本身的執行原理。tensor 張量 意味著n維陣列,flow 流 意味著基於資料流圖的計算,tensorflow為張量從流圖的一端流動到另一端計算過程。tensorflow是將複雜的資料結構傳輸至人工...

記錄 動手學深度學習05

6.7 門控迴圈單元 gru 重點 迴圈神經網路模型計算中的依賴關係圖。當總的時間步數較大或者當前時間步較小時,迴圈神經網路的梯度較容易出現衰減或 裁剪梯度可以應對梯度 但無法解決梯度衰減的問題。通常由於這個原因,迴圈神經網路在實際中較難捕捉時間序列中時間步距離較大的依賴關係。門控迴圈神經網路 ga...

深度強化學習task05

如果環境中的 reward 非常 sparse,reinforcement learning 的問題就會變得非常的困難,但是人類可以在非常 sparse 的 reward 上面去學習。我們的人生通常多數的時候,我們就只是活在那裡,都沒有得到什麼 reward 或是 penalty。但是,人還是可以採...