說起神經網路肯定會降到神經函式，看了很多資料，也許你對啟用函式這個名詞會感覺很困惑， 它為什麼叫啟用函式？它有什麼作用呢？
看了很多書籍上的講解說會讓神經網路變成很豐富的演算法， 還有的會說讓神經網路的表達能力更強大了， 是不是很籠統，看到這些不要煩躁，要有耐心。
國內學習深度學習，我看多最好的課程，能看的明白的還是吳恩達的課程，單同學對於一些英語水平比較低的同學， 學起來可能會比較吃力，即時有字幕可能還是回錯過一些關鍵點，而且學習起來會比較枯燥。這裡我還是推進結合一些比較詳細的ng教授的課程筆記來看。這樣看起來會比較詳細，也更容易理解。
言歸正傳還是看看為什麼要有啟用函式？來證明一下：
現在我們去掉啟用函式g
令 :
在深度網路中， 即有很多層隱藏層， 如果你使用線性啟用函式或者沒有使用乙個啟用函式，那麼無論你的神經網路有多少層一直在做的只是計算性函式，所以不如直接去掉所有隱藏層。
總結： 不能再隱藏層線性啟用函式，可以使用relu 或者tanh。
非線性啟用函式對於神經網路十分關鍵。
深度學習筆記 深入理解啟用函式
四 小結 建議 本文將圍繞啟用函式的定義 作用 分類 函式影象 導數影象 梯度 及啟用函式各自的優缺點等等方面展開敘述。神經網路中的每個神經元節點接受上一層神經元的輸出值作為本神經元的輸入值，並將輸入值傳遞給下一層，輸入層神經元節點會將輸入屬性值直接傳遞給下一層 隱層或輸出層 在多層神經網路中，上層...
深入理解函式
第五章 深入理解函式 1.return語句 有返回值的函式中，return語句的作用式提供整個函式的返回值，並結束當前函式返回到呼叫它的地方。在沒有返回值的函式中也可以使用return語句，例如當前檢查到乙個錯誤時提前結束當前函式的執行並返回 這個函式首先檢查引數x是否大於0，如果x不大於0就列印錯...
深入理解指標函式
1.指標函式的定義 顧名思義，指標函式即返回指標的函式。其一般定義形式如下 型別名 函式名 函式引數表列 其中，字尾運算子括號 表示這是乙個函式，其字首運算子星號 表示此函式為指標型函式，其函式值為指標，即它帶回來的值的型別為指標，當呼叫這個函式後，將得到乙個 指向返回值為 的指標 位址 型別名 表...