IBM的AI訓練技術速度提高4倍,並保持原有精度

2021-09-24 21:27:03 字數 1447 閱讀 1351

計算效率是ai的核心問題。同時保持訓練速度、準確性和能耗並不容易,但是最近硬體的進步使得這個目標比以前更容易實現。ibm將在本週展示ai訓練方法,這些方法能帶來比以往技術水平高出數量級的效能提公升。

第乙個突破是加速數字技術,以8位精度實現完全精度。第二個是針對模擬晶元的8位精度技術,這是迄今為止同類技術中最先進的,ibm稱其精度大約提高了一倍。

ibm在neurips 2018中詳細介紹了兩種技術,ibm research-almaden副總裁兼實驗室主任jeffrey welser表示,「下一代ai應用程式需要更快的響應時間,更大的ai工作負載以及來自眾多流的多模式資料。為了釋放ai的全部潛力,我們正在重新設計ai的硬體:從加速器到用於ai工作負載的專用硬體,如我們的新晶元,以及最終用於ai的量子計算。利用新的硬體解決方案擴充套件ai是ibm research為了從narrow ai轉向broad ai,跨越各個學科,幫助人類解決我們最緊迫的問題。」

從相對高精度(16位)浮點運算到低精度(8位)可能聽起來有些違和,但語音識別和語言翻譯等任務並不一定那麼嚴格。使用近似值可以實現顯著的功效和效能提公升。正如welser所解釋的那樣,具有16位精度引擎的「計算構建塊」平均比具有32位精度的類似塊小4倍。

在一篇題為「training deep neural networks with 8-bit floating point numbers」的**中,ibm研究人員描述了他們是如何在resnet50、alexnet和bn50_dnn等模型以及一系列影象、語音和文字資料集之中,既能將加法的算術精度從32位降低到16位,又能保持8位精度的準確性。他們聲稱他們的技術可以使深層神經網路的訓練時間比16位系統快2到4倍。

第二篇**「8-bit precision in-memory multiplication with projected phase-change memory」,提供了一種補償模擬ai晶元低固有精度的方法,使它們能夠在標量乘法運算中達到8位精度。同時比同類數字ai系統消耗的能量少33倍,且精度大約為原來的2倍。

**的作者提出了記憶體計算作為傳統記憶體的替代方案,它具有儲存和處理資料的雙重功能。單獨的架構調整可以將能耗降低90%以上,並且相變儲存器(pcm)可以獲得額外的效能提公升。該屬性使其能夠執行計算,研究人員**的pcm(proj-pcm)使pcm在很大程度上不受電導變化的影響,從而實現比以前更高的精度。

welser指出,「我們的研究團隊提高了精度,表明記憶體計算能夠在低功耗環境中實現高效能深度學習,例如物聯網和邊緣應用,與我們的數字加速器一樣,我們的模擬晶元可以擴充套件到視覺,語音和文字資料集的ai訓練和推理,並擴充套件到新興的broad ai領域。」

研究人員開發拖放資料分析工具:北極星

人工智慧膠囊系統實現最先進的影象分類結果

研究人員將主動推理身體感知應用於類人機械人

歐盟ai專家小組發布完整政策建議,包括敦促各國避免大規模監控

IBM用AI為癲癇患者分類,精準用藥提高治癒率

雷鋒網按 近日,ibm研究人員在arxiv.org上發布了一篇題為 machine learning for seizure type classification setting the benchmark 的 闡述其通過ai閱讀腦電波影象,為癲癇患者進行分類的新方法。癲癇,俗稱 羊角風 或 羊癲...

提高cin cout的速度

ios sync with stdio false 用來關閉iostream與stdio的同步,從而提高 cin cout 的效率,但是就不能再用 scanf printf 了,因為不關閉之前是c 為了與c相容,以免 cout 與 printf 一塊使用時造成混亂,才開啟同步,這樣可以提高一定的效率...

AI新動態 AI自造AI的速度將提公升240倍

自2017年以來,研究人員一直使用ai神經網路來幫助設計更好更快的ai神經網路。優化後的ai速度更快,精準度更高。而這個新演算法的出現將助力優化後的ai廣泛應用於影象識別演算法和其他相關應用。mit電子工程和電腦科學的助教song han表示 我們團隊在模型大小 推理延遲 準確性和模型容量等多個方面...