基於SRAM的方法可加速AI推理

2021-10-10 00:16:36 字數 512 閱讀 4660

一種新穎的深度學習加速器。專用單元定義了乙個sram,該單元可以處理矩陣乘法,量化,儲存以及推理處理器所需的其他工作。

在spice**中,當使用8位整數數學識別手寫數字時,該設計可提供100兆次操作/秒/瓦(tops / w)。它的計算密度可以擊敗google的tpu乙個數量級。

該設計是使用記憶體中計算方法的加速器產品線中最新的一種。設計使用40奈米nor快閃儲存器單元的深度學習處理器,其目標是為監視攝像機等裝置使用低功耗晶元。

設計時使用了很少的模擬電路,因此可以擴充套件到精細的工藝節點。它可能成為低功耗處理器中引擎(從邊緣到雲)的引擎。

獨特的方式操縱sram單元以處理深度學習任務

這個設計使使用者可以為從權重到神經網路層甚至單個神經元的所有內容建立自定義引數。這種靈活性可以使將來設計用於訓練處理器的設計成為可能。但是尚無用於對該設計進行程式設計的軟體堆疊,可能會在以後解決或留給將來的客戶使用。

提公升SRAM效能的傳統方法

隨著諸如醫療電子和無線感測節點等應用的興起,低功耗晶元受到了越來越廣泛的關注.這類晶元對效能和功耗要求苛刻.靜態隨機儲存器 sram 作為晶元的重要組成部分,大程度上影響著晶元的面積和功耗,因此其功耗的優化成了晶元功耗優化的關鍵所在。sram單元的資料保持功能是通過背靠背的反相器實現的,因此為了使單...

給Python加速(效能加速的方法)

轉譯解讀 首先提高 的效能不能以改變 功能為代價。簡而言之,按照原文說的 詳細的解讀包括 選擇乙個正確的資料結構。這個說法深有體會。python中多變的資料結構可以造成很大的差異,使用乙個set就可以事半功倍。甚至乙個自己定義的資料結構,對於記憶體,運算速度,處理方式等都有很大的影響。進行排序 我在...

Pytorch 基於混和精度的模型加速

這篇部落格是在pytorch中基於apex使用混合精度加速的乙個偏工程的描述,原理層面的解釋並不是這篇部落格的目的,不過在參考部分提供了非常有價值的資料,可以進一步研究。乙個關鍵原則 僅僅在權重更新的時候使用fp32,耗時的前向和後向運算都使用fp16 其中的乙個技巧是 在反向計算開始前,將dlos...