實不相瞞,深度學習計算還得看英偉達

2021-09-10 10:40:31 字數 2720 閱讀 1998

北京時間3月28日,英偉達(nvidia)在美國加州聖何塞召開gpu技術大會(gtc)。本屆大會上,深度學習又一次不出意外地成為「主角」,圍繞這一領域,掌門人黃仁勳先生介紹了一系列重要產品及更新的發布。此外,在計算機圖形、專業視覺化、自動駕駛、物聯網、gpu雲等方面,英偉達也有各項發布。本文中,我們主要關注深度學習:

世界最大gpu:dgx-2在手「虐神仙」

「先有仁勳後有天,顯示卡在手虐神仙。」這是網友對英偉達ceo黃仁勳的一句調侃,恰到好處地反映了他的行事風格。這樣乙個「狂人」,常常能給我們帶來巨大的衝擊。今天發布的nvidia dgx-2就是其中之一。

nvidia dgx-2 是英偉達的第二代 dgx,黃仁勳表示:「這是全球最大的gpu。」(嚴格來說它是乙個計算系統。)重量超300斤,有汽車後備箱那麼大,「沒有人能把它舉起來」。dgx-2問世,黃教主向稱霸武林的目標又近了一步。

顯然,這款產品的特色並不止於「大」。它是英偉達在深度學習計算領域取得的重大突破,是首款能夠提供每秒2千萬億次浮點運算能力的單點伺服器,也是首款採用 nvswitch(本次大會另一項重要發布,稍後我們會介紹)的系統,其中採用的 16 個 gpu 均共享統一的記憶體空間。dgx-2 具有 300 臺伺服器的深度學習處理能力,占用15個資料中心機架空間,而體積則縮小60倍,能效提公升18倍。

據悉,dgx-2可提供的深度學習效能為上代dgx-1(去年9月發布)的約10倍。僅僅半年左右的時間,這一提公升實在令人驚嘆。「狂人」黃仁勳,狂得有理。

nvidia dgx-2售價為 39.9 萬美元(約250萬人民幣),將於今年第三季度正式開放購買。

新一代革命性高速互聯技術發布,nvlink說再見?

談到cpu-gpu、gpu-gpu之間的高速互聯,大家首要提的就是nvlink,不過這種現狀可能將要發生改變了。此次大會上,nvidia nvswitch作為乙個革命性的全新 gpu 互聯結構,與大家見面。

nvswitch在nvlink的基礎上進一步進行了擴充套件創新,它的頻寬比最好的 pcie 交換機高出 5 倍,它可使多達 16 個 tesla v100 gpu 同時以 2.4 tb /秒的速度進行通訊,這一速度創下歷史新高,也讓開發者能夠採用更多的超級互聯gpu來構建更高階的系統,進而靈活地連線任何基於nvlink的gpu的拓撲結構。我們上面所說的dgx-2,就得益於nvswitch的超級互聯特性。

nvswitch的優勢是顯而易見的,其成熟程度我們尚未可知。不過,相信很多朋友看到它的第一反應就是將取代nvlink。難道我們這麼快就要對nvlink說再見了嗎?

tesla v100記憶體翻倍,掀起新一輪小規模計算迭代

英偉達平台在各大雲服務提供商和伺服器製造商中已得到廣泛應用,最強大的資料中心gpu——nvidia tesla v100,也得到了重大提公升:2倍記憶體。如今tesla v100 gpu配備了32gb記憶體,將助力資料科學家對更深度、更大規模的深度學習模型進行訓練,且比以往都更加精確。與之前的16gb版本相比,它還能將記憶體受限的hpc應用效能提公升高達50%。

tesla v100 32gb gpu目前可用於所有 nvidia dgx 系統。此外,各大計算系統製造商cray、hpe、ibm、聯想、supermicro和tyan也宣布將於第二季度內推出各自全新的tesla v100 32gb系統。oracle雲也宣布計畫將於今年下半年在雲端提供tesla v100 32gb。

種種跡象表明,tesla v100的提公升,可能將掀起新一輪資料中心gpu計算平台迭代。當然,客觀來講其規模可能不會太大,這要看企業和組織的實際需求。

軟體堆疊更新,推動計算效能提公升

英偉達深度學習和 hpc 軟體堆疊的更新面向開發者社群免費提供。據了解,當前開發者社群共有超過 82 萬名註冊使用者。此次更新包括新版本的 nvidia cuda、tensorrt、nccl和cudnn,以及面向機械人的全新 isaac軟體開發套件。此外,通過與領先雲服務提供商的密切合作,各大主流深度學習框架都在持續優化,以充分利用英偉達的gpu計算平台。

今天發布的tensorrt 4推理軟體,與谷歌的tensorflow框架深度融合。據了解,針對計算機視覺、神經網路機器翻譯、自動語音識別、語音合成與推薦系統等常見應用,相比cpu,該軟體最高可將深度學習推理的速度加快190倍。

另外,最受歡迎的語音識別框架kaldi現也已針對gpu進行了優化。

深度學習計算≈英偉達

黃教主雷厲風行的個性顯然對英偉達也產生了不小的影響,從最初發現gpu在深度學習計算方面的潛力,到如今幾乎「無gpu不深度學習」的行業現狀,英偉達毅然向人工智慧轉型,投入大量資源用以研發,不斷推陳出新,極大地推動了gpu在人工智慧計算的應用,同時更推動了人工智慧行業的發展。

本屆gtc上關於深度學習的各項重要發布,也再次向我們證明了這一點。基於此,說一句「深度學習計算≈英偉達」不算過分吧。