模擬人類大腦每秒計算數量級及引數容量的估計

2021-07-09 08:48:28 字數 1393 閱讀 5245

因為海馬區兩類中間神經元峰值放電頻率為310±33.17hz(型別ⅰ)和410±47.61hz(型別ⅱ),參考:《海馬ca1區ripple節律相關高頻放電中間神經元》。可以推斷出人類神經元的最大計算頻率在450左右。可以在最大值410+47.61hz上保守估計為500hz。

根據維基百科list of animals by number of neurons人類神經元數量為860億,突觸數量為10^14–10^15,也就是人類每個神經元平均擁有1163~11628個神經突觸,下面我們取最大值 11628 作為基準以方便論述。所以大腦每秒最高計算量為860億乘以500為:43萬億(這裡認為突觸只參與資料傳輸)。

根據現有的神經元計算模型,如下(**於ufldl.stanford)

其中平均每個神經元計算1次需要的計算為:

其中n=11628。f 為sigmoid函式或者其他啟用函式。f 函式中的浮點計算次數為:23254次。f 函式的浮點計算次數為4次左右,所以整個h浮點計算次數為:23258次(這裡忽略i/o的效能、記憶體的架構、快取記憶體一致性等,下同)。

假設以大腦的神經元數量(860億)為需要模擬的神經元數量,以前面大腦處理頻率(500hz)作為計算頻率,那麼計算機每秒最高需要的總浮點計算次數為:79億億次。

可見現在神經元的計算模型嚴重依賴於突觸的數量,其計算量是最高需要大腦的18327倍! (現在的深度網路已經廢棄sigmoid而以relu作為啟用函式,其中的計算會遇到大量的0值,但是以現在的演算法和計算機模型,0值依然要計算,而大腦卻不是,大腦的計算方式是惰性計算,即有電流(值)傳到神經元才計算,沒有就不計算,所以這也是大腦高效的乙個原因) 。 因為我們的大腦不會在同一時間其所有的神經元同時啟用,所以這裡我們在估算大腦的計算數量級的時候,忽略了大腦神經元的平均啟用數量和最大啟用數量,而僅僅以總的數量作為計算啟用數量。如果以最大啟用數量作為我們計算法基準,那麼整個計算的數量級可能下降很多,此時計算機需要模擬的每秒最高計算次數:如果最多同時啟用50%神經元時為,39.5億億次;同時啟用10%時為,7.9億億次。

天河二號的峰值計算速度每秒5.49億億次,因為上面計算量取的最多突觸連線和最大大腦處理頻率時的,所以天河二號有高可能性能夠模擬人類大腦。

最近(2023年3月)看了alphago與李世石的比賽時的硬體資料,根據估計其運算速度大概為500萬億次浮點每秒,假設在此時alphago與李世石的用腦量相同,那麼模擬人腦所需要的計算量應該比上面估計的還要小。

可以說當pc計算速度超過1億億次浮點每秒的時候,計算(機器)智慧型將迎來了乙個新的紀元,人類也將迎來乙個新的紀元。

附:如果按照現代神經網路的架構,和人腦相同的引數(引數以float型別表示,即占用4 byte),計算機所需要的硬碟空間大概為400tb~4pb【突觸數量x4/1000^12】。

flask ai 語音識別以及模擬人類說話

flask 語音識別以及合,模擬人類說話 from aip import aipspeech import os api key 7qgg 9lcx8mvmj secret key ky q0zndnrzg9rtn6upz0xip def text2audio answer 語音合成 result ...

人類的大腦

人類的大腦 有些人活著,但並不知道自己為什麼而活著 有些人活著,也知道自己為什麼而活著,但從不對自己活著的目的進行懷疑 還有一些人,他們活著,他們反思自己的人生,他們追問生命的意義,追問生命的價值,敢於對傳統觀念進行懷疑 審視 反思 批判和新建。這些人可以稱作人類的大腦。普通人只關心與自己相關的事情...

「城市大腦」是城市的大腦,不是人類的大腦!

城市大腦 是城市的大腦,不是人類的大腦!城市大腦不應該被翻譯為 the brain of smart city 而應該被翻譯為 city brain 王堅說。當下,不少城市正展開 智慧型城市 建設,在他看來,智慧型城市 和 城市大腦 沒有任何關係。王堅認為,當下 智慧型城市 面臨的乙個問題是,僅僅把...