深度學習中的FLOPs是什麼?如何計算的?

2021-10-03 23:02:47 字數 879 閱讀 1041

flops:注意全大寫,是floating point operations per second的縮寫,意指每秒浮點運算次數,理解為計算速度。是乙個衡量硬體效能的指標。

flops:注意s小寫,是floating point operations的縮寫(s表複數),意指浮點運算數,理解為計算量。可以用來衡量演算法/模型的複雜度。

注意在深度學習中,我們用的是flops,也就是說計算量,即用來衡量演算法/模型的複雜度。

注:以下不考慮activation function的運算。

2是因為乙個mac算2個operations。不考慮bias時有-1,有bias時沒有-1。

注:這裡的mac是乘加的意思,所以是兩個operation

上面針對乙個input feature map,沒考慮batch size。

理解上面這個公式分兩步,括號內是第一步,計算出output feature map的乙個pixel,然後再乘以hwco拓展到整個output feature map。括號內的部分又可以分為兩步,

i=input neuron numbers, o=output neuron numbers.

2是因為乙個mac算2個operations。

不考慮bias時有-1,有bias時沒有-1。

分析同理,括號內是乙個輸出神經元的計算量,拓展到o了輸出神經元。

參考:

深度學習是什麼?

深度學習是什麼?深度學習是神經網路模型與用資料程式設計思想的統一。神經網路的原則是什麼?1 交替使用線性處理單元與非線性處理單元。它們被叫做 層 2 使用鏈式法則 反向傳播 來更新網路引數。機器學習與深度學習的關係?深度學習是機器學習下的表徵學習的一種方式。機器學習關注的是如何利用已有經驗改善系統 ...

深度學習是什麼?

人工智慧,就好像第四次工業革命,正從學術界的私藏,轉變為一種能夠改變世界的力量。尤其,以深度學習取得的進步為顯著標誌。它讓匍匐前進60年的人工智慧一鳴驚人。我們正降落到一片新大陸。深度學習帶 人工智慧,就好像第四次工業革命,正從學術界的私藏,轉變為一種能夠改變世界的力量。尤其,以深度學習取得的進步為...

深度學習的發展歷史是什麼?

深度學習的歷史可以追溯到1943年,當時walter pitts和warren mcculloch建立了基於人腦神經網路的計算機模型。他們將演算法和數學方法結合在一起,稱之為 閾值邏輯 以模仿思維過程。自那時以來,深度學習一直在穩步發展,其發展只有兩個重大突破。兩者都與臭名昭著的人工智慧冬天有關。亨...