2 1 神經網路基礎（一）

計算機要儲存一張，實際需要儲存三個矩陣。分別對應的是紅綠藍三個顏色通道。

在二分分類問題中，目標是訓練出乙個分類器。它以中的特徵向量x作為輸入，**輸出結果標籤y是1（是乙個貓）還是0（不是乙個貓）

最後，為了方便表示，我們將x和y都寫成矩陣形式，在python中

x.shape()

這樣的命令就是用來看矩陣的行數和列數。

這是乙個學習演算法，在監督學習中處理二分問題。

如圖所示

對於乙個logistic回歸而言，通常學習的就是乙個

$$ y = w^tx+b $$

的過程，實際上，對於一維而言。我們可以理解成是y=ax+b的過程。然而這個數算出來可能很大，也可能很小。而我們希望算出來的是乙個介於0到1之間的概率，因此我們要用sigma函式處理一下$\sigma$

為了訓練logistic函式的w和b需要定義乙個成本函式。下面講解一下利用logistic來訓練成本函式。

最後，loss function是在單個訓練樣本中定義的，它衡量了在單個訓練樣本上的表現。下面定義的成本函式（cost function），是在總體樣本中的表現。

這裡介紹一下用梯度下降法來訓練w和b

成本函式衡量了w和b在訓練集上的效果，要學習得到合適的w和b，自然的就會想到成本函式j盡量小，由此來確定w和b。

我們使用梯度下降的方法，來期望得到全域性最優解。這張三維圖可以直觀的幫助我們理解梯度下降法，我們假設w和b都是一維的。這裡的j(w,b)實際上表示的就是這個像碗一樣圖形的高度。我們用梯度下降法來找到這個碗底，實際上就是找到這個全域性最優解。

我們進一步直觀的來理解梯度下降法

如圖所示，我們忽略了b，只是從j和w的角度來考慮，實際上梯度下降的過程就是不斷迭代

$$ w=w-\alpha\frac $$

b也是同樣的道理，如果我們從三個變數角度出發，所不同的是求的是偏導數而不是導數而已。