初識深度前饋神經網路
深度前饋神經網路可簡稱為前饋神經網路，前饋神經網路最具有代表性的乙個樣例就是多層感知機（mlp）模型。
前饋神經網路的模型是向前的，模型的輸入與輸出不存在鏈結，例如乙個輸入輸出滿足乙個函式y=f(x),x為輸入，y為輸出。資訊從x經過f（x）到達y，這個過程中f以及x並沒有因為y的取值而受到任何的影響。前饋神經網路也可以被擴充套件成包含反饋鏈結，這種網路被稱為迴圈神經網路。（rnn），它在自然語言處理類的任務發揮巨大的作用。
全連線與稀疏連線
全連線和稀疏連線都是神經網路模型中相鄰的兩層單元間的連線方式。全連線是指網路當前層的單元與上一層單元都存在連線。而稀疏連線指的是網路當前層的單元與網路上一層的單元存在部分連線。mlp就是乙個全連線的神經網路。而卷積神經網路則採用了稀疏連線。
下面的就是乙個全連線的網路結構圖
傳統的線性模型的侷限性
神經網路之中相互兩層之間的單元如果只採用線性模型，會暴露吹乙個問題，多個線性的計算的過程其實用乙個線性計算來表示即可，就沒有必要去搭建多層的線性網路模型。並且線性模型解決能力的問題有限，當特徵資料分布情況比較複雜 的時候，線性模型就失去了分類的能力。這是線性模型最大的侷限性，也是深度學習強調非線性的原因所在。推薦乙個網頁：tensorflow遊樂場 。下面就是使用線性模型來處理簡單的二分類問題，可見處理效果非常好。
當資料特徵較複雜時候，資料是特徵是呈現環形的二分類問題的時候，線性模型在迭代兩百多次依然不能正確的資料進行分類。
由此可見傳統的線性網路模型不能夠滿足複雜的分類問題，因此需要對我們的網路模型進行優化。所以接下來我們需要談談啟用函式，對線性模型變得非線性，以此適應更複雜的問題。
參考資料
tensorflow 深度學習演算法原理與程式設計實戰
深度學習 前饋神經網路
神經元模型，由兩部分組成。一部分將訊號進行累加，得到得分函式，還有偏置項 bias 相當於函式的截距項或者常數項。z bias i 1mxi wi i 0m xiwiz bias i 1mxi wi i 0m xiwi 第二部分是啟用函式，這是神經元的關鍵，通常使用某類啟用函式，就稱為某類神經元。如...
深度學習 深度前饋網路
1 學習xor 2 基於梯度的學習 3 隱藏單元 4 架構設計 5 反向傳播 和其他微分演算法 6 歷史小計 reference 原文 joselynzhao.top 夏木青 深度前饋網路 資訊流過 x 的函式，流經用於 定義 f 的中間計算過程，最終到達輸出 y。前饋神經網路被稱作網路 netwo...
神經網路系列 深度前饋網路
全連線前饋網路 fully connect feedforward network 是最常見的神經網路連線方式，也可以叫做多層感知機模型 multi layer perceptron define a set of functions 當乙個神經網路的結構確定了的時候，這個模型所對應的函式集合也就確...