在影象領域，我們經常應用的是卷積神經網路（convolutional neural network），常縮寫為cnn。
對於音訊等序列資料（sequence data），我們經常應用迴圈神經網路（recurrent neural network），常縮寫為rnn。
常見記號：
(x,y)表示
樣本，其中
表示x的維度。
一、logistic regression（an algorithm for binary classification）
令2、logistic regression cost function
(1) loss (error) function
在logistic回歸中，如果使用
使用（2）cost function
引數學習公式：
對於單個樣本有：
將各個樣本的一次結果累加取平均，則得到了整個樣本集上的一次結果。
4、vectorization
向量化（能實現並行化計算）代替for迴圈能大大加快計算速度，盡量不用for迴圈，可呼叫python的numpy
# -- coding: utf-8 --
import numpy as np
import time
a = np.random.rand(1000000) # 1000000維的陣列
二、neural network
1、selection of activation functions
(1)sigmoid function
使輸出在[0, 1]之間
（2）tanh函式
(3)relu (修正線性單元rectified linear unit)
在輸入為正的時候斜率一定，不會產生上面兩種在兩端時梯度變化很慢，學習速度很慢的情況。很常用。
不能將w初始化為全0，可以使用0.01*np.random.randn( )產生符合高斯分布的初始值。
3、forward propagation and backward propagation
即由前面一層的輸出推得後一層的輸出，由後一層的變化得到前一層的變化用以調整引數。
吳恩達神經網路和深度學習
課程名稱 神經網路和深度學習 andrew ng 神經網路和深度學習 1 什麼是神經網路 傳送門 神經網路和深度學習 2 啟用函式 傳送門 神經網路和深度學習 3 神經網路輸入的表示 傳送門 神經網路和深度學習 4 符號約定 傳送門 神經網路和深度學習 5 邏輯回歸 傳送門 神經網路和深度學習 6 ...
神經網路和深度學習 吳恩達 神經網路基礎
簡單的理解就是輸出的結果是兩個離散的值，就像課程中舉的例子 通過輸入一張的資訊，經過一些列的計算，輸出乙個離散的y值，中是否有貓，當y 1時表示中有貓，反之當y 0時，表示中沒有貓。我看很多人將這個翻譯成邏輯回歸，而在 機器學習 中，作者認為應該更為準確的叫對數機率回歸，這裡我就不對這兩個翻譯做過多...
吳恩達《卷積神經網路》
一 yolo algorithm 把輸入的分割成3x3個格仔或19x19個格仔，每個格仔進行檢測輸出八個特徵，3x3就輸出3x3x8個向量。yolo演算法的優點是不需要乙個演算法跑很多次。相反這是單次卷積實現，在處理計算時很多步驟都是共享的，而且執行速度非常快可以達到實時識別。物件中點的座標在哪個格...