邏輯回歸和神經網路權重初始化為0的問題

邏輯回歸與神經網路的關係：

邏輯回歸可以看作是只有個神經元的單層神經網路，神經網路就是一組神經元連線在一起的網路，隱藏層可以有多個神經元，每個神經元本身就對應著乙個邏輯回歸過程。

神經網路的權重不能全為0的原因：

神經網路的權重w 的不同代表輸入的向量有不同的特徵，即權重越大的特徵越重要，比如在人臉識別中，人臉的屬性有眼睛，鼻子，嘴巴，眉毛，其中眼睛更能夠影響人臉的識別，所以我們給與眼睛更大的權重。

如果將權重初始化全為0，那麼隱藏層的各個神經元的結果都是一樣的，從而正向傳播的結果是一樣的，反向傳播求得的梯度也是一樣的，也就是說不管經過多少次迭代，更新的w(i)是相同的，這樣就判斷不了哪個特徵比較重要了。

因此，初始w不同，可以學到不同的特徵，如果都是0或某個值，由於計算方式相同，可能達不到學習不同特徵的目的。

邏輯回歸的權重可以初始化為0的原因：

logistic回歸沒有隱藏層。如果將權重初始化為零，則logistic回歸中的第乙個示例x將輸出零，但logistic回歸的導數取決於不是零的輸入x（因為沒有隱藏層）。因此，在第二次迭代（迭代發生在w和b值的更新中，即梯度下降）中，如果x不是常量向量，則權值遵循x的分布並且彼此不同。