第一代神經網路：
mcp神經元模型，該模型將神經元簡化為三個過程：
1. 輸入訊號加權
2. 求和
3. 非線性逼近
1958 單層感知機
死刑：只能處理線性分類問題，連xor問題都解決不了。
第二代神經網路：
1986 適用於mlp的bp演算法和sigmoid，有效解決了非線性分類和學習的問題。
1989 萬能逼近定理 lenet
1997 lstm模型
死刑：bp演算法存在梯度消失問題，即在誤差梯度後向傳遞的過程中，後層梯度以乘性方式疊加到前層，由於sigmoid函式的飽和特性，後層梯度本來就小，誤差梯度傳到前層幾乎為0，因此無法對前層進行有效的學習。
統計學習方法的春天：
1986 決策樹，之後id3、id4、cart等，符號學習方法
1995 線性svm，有完美的數學理論推導做支撐
1997 adaboost 整合學習，回歸和分類效果好
2000 kernel svm 解決了非線性分類的問題
2001 隨機森林 更好地抑制過擬合， 圖模型被提出
第三代神經網路：
2006 梯度消失的解決方案：無監督預訓練對權值進行初始化+有監督訓練微調。
2011 relu啟用函式被提出，有效地抑制梯度消失的問題。
2012 imagenet影象識別比賽，構建cnn網路alexnet奪冠，碾壓第二名。爆發。
創新點：1. relu 2.有監督訓練 3.dropout層、lrn層減小過擬合。
2015 loss的區域性極值問題對於深層網路的影響可以忽略。原因是深層網路雖然區域性極值非常多，但是通過深度學習的batch gradient descent優化方法很難陷進去，就算陷進去，其區域性極小值點與全域性極小值點也非常接近。
2015 deepresidual net 設計了乙個對於單位對映有較強學習能力的深度學習網路，增強了深度學習網路的表達能力。
深度學習是理論和工程相結合的領域，不僅僅需要寫**的能力強，也需要有理論知識能夠看得懂**，實現**提出來的新想法，所以應該理論與**相結合。
深度學習：
機器學習 深度學習資源推薦
簡單來說，機器學習是人工智慧的一種，而深度學習只是機器學習的乙個分支。stephen boyd 凸優化，一些優化的理論需要先了解一下 周志華 機器學習 吳恩達 機器學習教程 書和課程可以一起看，課程會講一些小例子，更好的幫助你理解課本內容。斯坦福機器學習教程 斯坦福深度學習教程 以上，只是關於機器學...
Linux學習方法和資源推薦
linux學習方法和資源推薦 從初中開始知道linux是什麼，到大學時期喜歡linux 研究linux，再到現在以linux為職業。從在cii800上安裝redhat7.2，到給p42.4a上裝7個作業系統，再到現在到處給公司的伺服器安裝linux。linux伴隨我度過很多時光，眼看著它從初露鋒芒到...
深度學習 詞向量歷史和發展現狀解說
詞向量發展篇 內容 共現矩陣 svd nnlm word2vec glove elmo 由one hot編碼到bert詞向量發展程序 word2vec中的模型解說 word2vec公升級版glove解說 補充 bert 為了彌補elmo的不足，bert真正實現了雙向語言模型。訓練過程 輸入句子 em...