第三週神經網路
啟用函式
第一門課
感謝黃博的參考筆記
一次梯度下降
正向傳播與反向傳播
一次反向傳播梯度下降
注意與機器學習課程不同的一點是，第一層不算樣本輸入
a =t
an(z
)a = tan(z)
a=tan(
z)的值域是位於+1和-1之間。
a =t
anh(
z)=e
z−e−
zez+
e−za= tanh(z) = \frac - e^} + e^}
a=tanh
(z)=
ez+e
−zez
−e−z
事實上，tanh函式是sigmoid的向下平移和伸縮後的結果。對它進行了變形後，穿過了(0,
0)(0,0)
(0,0
)點，並且值域介於+1和-1之間。
結果表明，如果在隱藏層上使用函式
g (z
[1])
=tan
h(z[
1])g(z^) = tanh(z^)
g(z[1]
)=ta
nh(z
[1])
效果總是優於sigmoid函式。因為函式值域在-1和+1的啟用函式，其均值是更接近零均值的。在訓練乙個演算法模型時，如果使用tanh函式代替sigmoid函式中心化資料，使得資料的平均值更接近0而不是0.5.
sigmoid函式和tanh函式兩者共同的缺點是，在z
zz特別大或者特別小的情況下，導數的梯度或者函式的斜率會變得特別小，最後就會接近於0，導致降低梯度下降的速度。
這有一些選擇啟用函式的經驗法則：
如果輸出是0、1值（二分類問題），則輸出層選擇sigmoid函式，然後其它的所有單元都選擇relu函式。
吳恩達深度學習筆記
2.02 紅色為小標題，藍色比較重要 第四講第二週 4.2.1 為什麼要進行例項 4.2.2 經典網路 lenet 5網路當時還沒有padding,所以在卷積過程當中越來越小 也沒有relu函式，當時這個例子用的是sigmoid函式。超級引數不是很多。這個典型的網路有padding，使用的是relu...
總結 吳恩達深度學習
從去年8月份開始，ai界大ip吳恩達在coursera上開設了由5們課組成的深度學習專項課程，掀起了一股人工智慧深度學習熱潮。這裡附上deeplearning.ai的官網 deeplearning.ai，也可以在網易雲課堂學習 有中文字幕 關於該深度學習專項課程，本人非常推薦！它對於理解各種演算法背...
吳恩達深度學習筆記
目錄導數的細節 向量化python中的廣播 第二部分深度學習內容 吳恩達講深度學習 1.資料量更大 2.演算法越來越優 3.業務場景越來越多樣化 4.學術界or工業界越來越卷 私以為 邏輯回歸是最簡單的二分類模型,也可以說是後續深度神經網路的基礎框架.達叔的演算法知識第一課.邏輯回歸的引數是w和b,...