最近幾天綜合的看了一下以前上課用的cmu的tom m.mitchell的機器學習，michael a. nielsen, "neural networks and deep learning" ，還有趙永科著的深度學習，21天實戰caffe。一次性接受的有點多。但是，萬變不離其宗，總歸是用反向傳播演算法。細緻的做一下筆記，以供後續參考。
混合著英文和中文！！！
input training examples,t)>
首先定義以下幾個notations。
解釋一下：
同理，就是j單元，第i個輸入，是相應的權值大小。
神經網路大總結
1 感知神經網路 構造方法 net newp pr,s,tf,lf pr 表示r 2矩陣，表示資料的大小範圍，minmax函式就可以 s 表示神經元個數，主要表示隱含層和輸出層神經元的個數，一般是個向量 tf 表示傳遞函式，一般預設hardlim lf 表示學習函式，一般預設不用寫 訓練方法 net...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...