知乎高票答案推薦，看了就得寫筆記，以下
神經中樞由大量的神經元組成，神經元接收樹突端傳來的化學物質（資訊），該神經元的化學電位發生改變，達到閾值，神經元啟用，通過軸突向其他神經元傳送化學物質，
而機器學習中的神經網路
（借圖，
均方損失：-\sum_^) }（反應了半天，原來latex的公式問題很不好弄，他是寫了之後需要編譯的，**上如果要i西安市出來公式是需要外掛程式的，還是截圖吧.,,）
θi為輸入，1中θ有時會經過softmax變化，2中yi= w*θi
no-convex loss functions？？
使用模擬退火演算法，
模擬退火演算法描述：
若j( y(i+1) )>= j( y(i) ) (即移動後得到更優解)，則總是接受該移動
若j( y(i+1) )< j( y(i) ) (即移動後的解比當前解要差)，則以一定的概率接受移動，而且這個概率隨著時間推移逐漸降低（逐漸降低才能趨向穩定）
**：
while (t>t_min)
t = r*t;
i++;
}感覺演算法過於簡陋，不太明白，而且t = r*t為什麼每次都要使用
從尾部遞迴計算梯度（red）,回流，
更新：δ`（x） = (1-δ)*δ,則將長鏈條寫成一句話，
dot = w[0]*x[0]+w[1]*x[1]+w[2]
f = 1.0/(1+math.exp(-dot))
ddot = (1-f)*f
dx = [ w[0]*ddot,w[1]*ddot ]
dw = [ x[0]*ddot,x[1]*ddot,x[2]*ddot ] //dot簡化過程
這個問題實際上是由啟用函式不當引起的，多層使用sigmoid系函式，會使得誤差從輸出層開始呈指數衰減，relu
test和train資料構造很不一樣
test資料集有noise，而train沒有
方法：改動train來豐富train，
epoch取少一點
dropout：因為bp，每個neuron可能會變得不那麼重要，就需要更新layer結構，不太明白，涉及到mini-batch
一天搞懂深度學習
部落格 整個ppt的思維導圖如下，為深度學習導論 讀李巨集毅 1天搞懂深度學習 神經網路的思想 於對人腦生理上的研究。人類智慧型最重要的部分是大腦，大腦雖然複雜，它的組成單元卻是相對簡單的，大腦皮層以及整個神經系統，是由神經元細胞組成的。而乙個神經元細胞，由樹突和軸突組成，它們分別代表輸入和輸出。連...
一天搞懂深度學習 深度學習簡介
前言 一天搞懂深度學習 是乙個300多頁的ppt，是台灣學者李巨集毅寫的。雖然對於深度學習也有一定的了解了，但是有些知識點還是會經常忘記。溫故知新，所以決定重看這本算是入門書籍吧。一 深度學習介紹 1 神經網路主要有三個部分 定義模型函式 判斷模型函式好壞 選擇乙個最好的函式 1 神經網路之所以叫神...
《動手學深度學習》第一天
之前按照要求安裝了jupyter notebook，好不容易安裝成功，但是在使用python3進行資料操作時，提示計算機丟失cublas64 80.dll，在很多地方找相關解決辦法都沒有成功。後來發現我在更新了按照課程中 計算機上有nvidia顯示卡並安裝了cuda，建議使用gpu版的mxnet 安...