深度學習之學習筆記(三) 神經元的工作原理

2021-10-02 09:00:17 字數 1577 閱讀 3526

大腦神經系統無論從構造和功能來講,都稱得上是乙個非常複雜的巨系統。

2023年8月,谷歌與霍華德休斯醫學研究所(hhmi)和劍橋大學合作,發布了一項最新深入研究果蠅大腦的研究成果——自動重建整個果蠅的大腦。果蠅的乙個重要優勢是它們的大小:果蠅的大腦相對較小,只有10萬個神經元,相比之下,老鼠的大腦有1億個神經元,人類的大腦有1000億個神經元。研究人員稱,由於成像的高解析度,即使只有一立方公釐的腦組織,也可以產生超過1000tb的資料。

其他神經元的訊號(輸入訊號)通過樹突傳遞到細胞體(也就是神經元本體)中,細胞體把從其他多個神經元傳遞進來的輸入訊號進行合併加工,然後再通過軸突前端的突觸傳遞給別的神經元。神經元就是這樣借助突觸結合而形成網路的。

如上圖所示,神經元1的軸突傳遞了4個訊號給神經元2,分別是輸入1、輸入2、輸入3和輸入4。而神經元2的輸出訊號(輸出1和輸出2)分別是神經元3的輸入訊號(輸入1和輸入2)。

如果輸入訊號之和超過神經元固有的邊界值(閾值),細胞體就會做出反應,向與軸突連線的其他神經元傳遞訊號,這稱為點火。

點火時神經元輸出的訊號大小時固定的。即便從鄰近的神經元接收到很大的刺激,或者軸突連線著多個神經元,這個神經元也只輸出固定大小的訊號。點火的輸出訊號是由"0" 或 "1"表示的數字資訊:

2023年, [mcculloch and pitts, 1943] 將神經元的工作過程抽象為上圖所示的簡單模型,這就是一直沿用至今的 "m-p神經元模型" 。

在這個模型中,神經元接收到來自 m 個其他神經元傳遞過來的輸入訊號,這些輸入訊號通過帶權重(weights)的連線進行傳遞,神經元接收到的總輸入值將與神經元的閾值進行比較,然後通過"啟用函式" (activation function)處理以產生神經元的輸出。神經元在訊號之和超過閾值時點火,不超過閾值時不點火。

所以點火的函式可以表示為:

其中,

然而,階躍函式具有不連續、不光滑等不太好的性質,因此實際常用sigmoid函式作為啟用函式,我將在後面的章節中介紹sigmoid函式。

下一章,我們將介紹神經網路的雛形——感知機

知乎:谷歌自動重建了果蠅完整大腦:40 萬億畫素影象首度公開!, 新智元

SNN學習筆記 神經元膜的特性

神經的電活動本質是帶電離子在電場中移動。神經元膜上的跨膜電流由三個要素組成 神經元膜內外的鹽溶液 提供帶點離子 神經元膜 將內外隔開形成電場 跨膜蛋白質 離子在膜內外電場移動的通道 神經元膜的組成 鱗脂 鱗脂含親水的極性 頭 含磷酸 也含疏水性的非極性 尾 含碳氫鏈 神經元膜由尾尾相對的雙層鱗脂組成...

入門筆記 神經網路淺講 從神經元到深度學習

原文 神經網路淺講 從神經元到深度學習 這篇文章介紹很好,深入淺出 很容易懂但是該有的東西都講到了,一口氣看下來會覺得很爽。因為文章很長所以下面主要是上文中的一些摘抄。神經網路的 三起三落 1943年,心理學家mcculloch和數學家pitts參考了生物神經元的結構,發表了抽象的神經元模型mp。神...

機器學習 05 神經元神經網路

神經元模型,邏輯單元 x0,偏置單位 偏置神經元 1 theta是引數,又稱權重 神經網路 不同的神經元在一起的組合 第一層輸入層input layer 最後一層輸出層 output layer 中間hidden layer 當只有一層hidden layer時 a第j層的第i 個單位的激勵 the...