卷積神經網路高階學習(一)

2021-09-12 23:10:22 字數 624 閱讀 4827

網路結構

1.輸入:224224,3通道的影象(rgb)

第一層卷積是:1111的卷積核,96個,stride(步長)=4,而輸出大小=(輸入大小(224)-卷積核(11)+padding)/stride +1 = 55;引數數目 = 3111196

2.第二層卷積是:55的卷積核一共256個

3.第二層max_pooling:2*2

4.第一層的全連線和第二層都為:4096

softmax:1000為概率值

5.alexnet是首次使用relu的模型,速度比sigmod要快

6.2-gpu並行結構,部分卷積層後跟隨max-pooling層

7.全連線層應用dropout(把一些神經元置零,且這一行為是隨機的),為的就是防止過擬合(引數過多而樣本過少)的問題,提高了模型的泛化能力。dropout解釋:每次都相當於訓練了乙個子網路,最後結果就是相當於很多子網路組合。也消除了神經單元之間的依賴。

8.進行了隨機取樣(如[256,256]取樣了[224,224]),即資料增強

9.dropout=0.5;batch size = 128; sgd momentum=0.9;learning rate = 0.01,一定次數之後改為0.1

神經網路 卷積神經網路

這篇卷積神經網路是前面介紹的多層神經網路的進一步深入,它將深度學習的思想引入到了神經網路當中,通過卷積運算來由淺入深的提取影象的不同層次的特徵,而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數,從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象,我盡量在下面描述細緻一些,但如果要更深入了...

神經網路 卷積神經網路

1.卷積神經網路概覽 來自吳恩達課上一張,通過對應位置相乘求和,我們從左邊矩陣得到了右邊矩陣,邊緣是白色寬條,當畫素大一些時候,邊緣就會變細。觀察卷積核,左邊一列權重高,右邊一列權重低。輸入,左邊的部分明亮,右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡,下面這個圖左邊暗...

卷積神經網路 一

卷積神經網路是一種特殊的多層神經網路,它是deep learning中的乙個演算法,現在主要應用在影象處理領域中。既然說它是deep learning中的乙個演算法,那麼就需要有大量的資料來支援,作為乙個深度的神經網路,引數動輒百萬以上,如果樣本數過小很容易造成overfitting。卷積神經網路可...