一周學習小結(2)

2021-10-08 06:07:34 字數 1555 閱讀 4032

通過閱讀那篇文章,又理解了很多cnn的知識。

影象在計算機中是一堆按順序排列的數字,可以用個正方形矩陣表示,每個點的值為0-255.0最暗,255最亮。彩色圖由3個矩陣疊加而成。

cnn具有滿足畫面不變性的特點,目標的平移,旋轉,大小,和明暗,應該盡可能不影響判定。

cnn就是讓權重在不同位置共享的神經網路。

我知道了卷積計算的過程。

當的深度大於1時,卷積核會貫穿做運動。就像切蛋糕一樣切到底,不太好描述。

每個filter會在width維, height維上,以區域性連線和空間共享,並貫串整個depth維的方式得到乙個feature map

將不同filters所卷積得到的feature maps按順序堆疊後,就得到了乙個卷積層的最終輸出。

卷積後的長方體可以繼續送入另乙個卷積層做卷積,得到更豐富更抽象的表示。

使用zero pading可以使得卷積後的特徵圖size不變。

為了增強模型的擬合能力,要加入非線性。比如將特徵圖進行rulu變換等。

池化就是對做簡化,去除掉冗雜的部分。在不同的depth上是分開執行的,

首次利用gpu進行網路加速訓練。

使用了rule啟用函式,而不是傳統的sigmoid啟用函式以及tanh啟用函式

使用了lrn區域性響應歸一化

在全連線層的前兩層中使用了dropout隨機失火神經元操作,減少過擬合。

過擬合的理解:就是學習到的函式完美的**了訓練集,但對新資料的測試集**結果差。過度的擬合了訓練資料,沒有考慮到泛化能力。

使用清一色的3×3卷積核。

通過堆疊多個3×3的卷積核來替代大尺度卷積核(降低所需引數)。擁有相同的感受野。

感受野:決定某一層輸出結果中乙個元素所對應的輸入層的區域大小。。通俗的說,輸出feature map上的乙個單元對應輸入層上的區域大小。

inception網路很好的解決了當網路越深越寬時產生的***

,越深越寬的網路往往有巨大的參數量,當訓練資料少的時候,很容易過擬合。inception網路很好的解決了這點

inception網路也可以解決梯度消失現象

上圖是inception的模組,inception網路由多個這樣的模組構成。

inception網路框架中會有額外的兩個softmadx**層,這兩個**層分別是從網路框架中間部分引出的分支,用於反向傳播更新梯度,這樣就避免了因梯度消失導致淺層的網路引數無法更新。這兩個分支只在訓練的時候防止梯度消失會用到,真正做**的時候需要刪除。

Python一周學習的小結

eoc 簡單優雅 沒有嚴格的靜態型別 基礎語法格式啥的就不講了,懂的人自然懂 python中基礎的資料結構有這麼幾個 上面這些資料結構有什麼特點,怎麼產生,怎麼使用 怎麼訪問 list list 的元素可以是不同的型別,也可以內部巢狀list l item 1 item 2 1,2,inner 1 ...

一周工作小結

一連幾天都比較忙,前天和老許一起去了學校,看了看羅捷小組的專案,然後我們就在邊上偷笑,發現和我們還是有段距離的,hoho。中午在重慶雞功煲吃的,我的本意是要請羅捷吃頓的,他畢竟幫了我們滿大的乙個忙,可是怎麼拉他都不去,那也只好算了,下午又和泡泡,老許去游泳。這個泡泡真是差點氣 死我。交給我的詳細設計...

3 21一周小結

這周依舊是做貪心的題目,不過這周題目做起來要比之前舒服很多,當時在做ride to office時,剛開始看以為是追趕問題,想著就會很麻煩,但是,在經過一段時間掙扎後,我看了看別人寫的題解,才豁然頓悟,貪心的應用如同它本意一樣,要找到最優解,而不是侷限在自己那一點思維當中,要會去深入思考。再後來的做...