深度學習的知識總結

2021-10-13 10:01:51 字數 1728 閱讀 5723

1、構建和理解乙個網路,就是那8部分,最重要的是前向傳遞,前向傳遞搞懂了就都懂了,剩下反向傳播最重要的就是損失值的計算了。

2、目標檢測的訓練比較複雜,一般分為2步驟,先訓練主幹分類網路,之後再訓練檢測網路。

4、三大要素

(1)資料

(2)演算法

(3)算力

5、三大能力

(1)演算法理解能力

(2)**實現能力

(3)綜合應用能力

6、理解好3點

(1)前向傳播分類的原理

(2)損失函式用來收斂,損失函式的型別

(3)準確率的評價指標,模型準確率在大多數模型中無法影響網路的準確率,一般就是通過損失函式來優化網路引數,而不是準確率,準確率是為了讓你看最後結果的優劣。

每個神經元y就經過上面兩步獲得

上面的l(a2,y)代表損失函式,a就是a,y就是y,上面大小寫混了,大小寫表示同乙個意思。

多層就是函式套函式,神經網路可以近似任何連續函式。

損失值是前向傳播中得到,是在softmax和sigmoid等函式的輸出後再使用,就是對softmax和sigmoid等函式的輸出進行損失計算。

作用於反向傳播,反向傳播是根據損失值大小通過求導來調整w和b這兩種引數的。

請看這個資料:損失函式與優化過程

下面公式針對上面的兩層神經網路

針對上面的4層神經網路

為什麼使用深層網路

1、神經網路在實踐中非常好用,是因為它們表達出的函式不僅平滑,而且對於資料的統計特性有很好的擬合。同時,網路通過最優化演算法(例如梯度下降)能比較容易地學習到這個函式。類似的,雖然在理論上深層網路(使用了多個隱層)和單層網路的表達能力是一樣的,但是就實踐經驗而言,深度網路效果比單層網路好。

2、對於人臉識別等應用,神經網路的第一層從原始中提取人臉的輪廓和邊緣,每個神經元學習到不同邊緣的資訊;網路的第二層將第一層學得的邊緣資訊組合起來,形**臉的一些區域性的特徵,例如眼睛、嘴巴等;後面的幾層逐步將上一層的特徵組合起來,形**臉的模樣。隨著神經網路層數的增加,特徵也從原來的邊緣逐步擴充套件為人臉的整體,由整體到區域性,由簡單到複雜。層數越多,那麼模型學習的效果也就越精確。

通過例子可以看到,隨著神經網路的深度加深,模型能學習到更加複雜的問題,功能也更加強大。

參考:這篇不錯,多看看

機器學習 深度學習知識點總結

近期準備秋招,想把之前學過的一些知識總結一下,盡量言簡意賅,主要圍繞機器學習和深度學習,部落格也擱置了一段時間了,以後會常常更新,記錄學習,寫部落格不僅能總結知識,還能在寫的過程中養成思考並查缺的習慣,其實有很多東西想寫的,包括ml dl cv,近期做的人臉識別,還有一些刷題心得等,近期開始慢慢寫吧...

深度學習知識點總結(二)

原 for dog,cat in zip dp.dogs,dp.cats 1000 報錯 typeerror zip object is not subscriptable 解決方法 使用list包裝zip物件,如下,for dog,cat in list zip dp.dogs,dp.cats 1...

深度學習學習總結

北京大學人工智慧實踐 tensorflow2.0 學習1 6章 複習1 4章 第4章需要寫乙個部落格 寫4,5,6章 吳恩達深度學習第四步 卷積神經網路 學習1 2周 複習1 2周 殘差網路和inception網路不太懂,目前用不到 三四周是目標定位,人臉識別,神經風格轉換目前用不到 油管最新最熱t...