如何科學的搭建一台深度學習伺服器?

2021-10-06 03:03:28 字數 1648 閱讀 1531

在如今的時代,人工智慧的技術已經開始使用在各行各業,例如人臉識別等計算機視覺技術已經開始廣泛的使用在人們的日常生活中去 ,如果我們要自己去訓練模型,首先我們需要的是尋找到資料集,因為深度學習的技術是需要有非常多的資料,其次最為重要的也就是「算力」,深度學習模型的訓練需要基於強大算力平台。也就是gpu,深度學習的模型訓練的過程中大量張量會在gpu上完成求導等計算梯度的運算,但是單單有gpu是不行的,還需要有cpu進行配合,甚至ssd固態硬碟,記憶體等多個問題組成,那麼如何選擇一台「價效比」最高的深度學習伺服器呢?請看下面的解釋:

gpu:gpu(影象處理單元)也就是我們常說的顯示卡,gpu是整個深度學習伺服器中最為重要的東西,一般的筆記本的顯示卡配置的都是gtx1060顯示卡,視訊記憶體6g,可以用來執行一些簡單的資料集,但是coco等大型資料集就不適合了,現在一般的深度學習伺服器中主流選擇的gtx1080ti,視訊記憶體11g,rtx2080ti,視訊記憶體11g,兩個的視訊記憶體很大,且價效比最高,同時為了提高訓練的速度,個人推薦四塊gtx1080ti,或者四塊rtx2080ti最為合適。當然也有特殊情況,比如使用的資料集資料過大,造成gpu的視訊記憶體溢位,可以選擇更大視訊記憶體的顯示卡,接下來是重點tesla v100 16g/32g,或者rtx8000,48g視訊記憶體。他們二者的區別在於具體的用途,tesla v100 支援雙精度訓練,rtx8000僅僅支援單精度訓練,雙精度訓練一般用於醫學影象上的目標檢查或者分割,也就是要求極其嚴格的領域,除此之外均不需要雙精度。另外根據bp反向傳播演算法的原理,batch size越大,測到的梯度越是準確,因此大視訊記憶體使用推薦rtx8000顯示卡,另外比較一下顯示卡的散熱方式,顯示卡在執行時會出現對大量的熱,散熱方式尤其重要,tesla v100為被動散熱的風扇散熱,噪音較大,且風扇散熱效果不好,造成顯示卡溫度超過86℃,會使得gpu的主頻下降,利用率減低,rtx8000為主動的渦輪散熱,散熱效果更好,噪音更小。

cpu: cpu用於深度學習模型訓練過程中的資料預處理與多卡訓練的均值loss損失函式計算,因此cpu很有可能成為深度學習模型訓練的瓶頸,因此需要使用較高的主頻,考慮得到價效比,目標選擇為金牌6149與銀牌4125,二者引數分別為8核 16程序3.2ghz ,16核 32程序 3.1ghz,雖然主頻降低0.1ghz,但是核心數增大了一倍,因此金牌6149更加具有價效比,除此之外,cpu分為正顯版與正式版,一般來說,正顯版指的是在cpu正式售出前的測試版,但是均是通過測試的,所以正顯沒有問題,cpu的鉑金系列售價最為昂貴,不建議使用,cpu由於需要處理大量的運算,因此核心與主頻不會都高,一般來說核心越多的,主頻會降低,可以並行運算多執行緒,主頻高的執行單個程序速度最快,根據目的選擇。

記憶體:根據cpu的讀寫通道數,內存在為6的倍數時間讀寫更快,因此選擇616gb,或者632gb,現在一些資料集比如imagnet資料集已經超過了100gb,因此選擇192gb的記憶體比較合適,甚至一些主機已經超過了200gb,不過已經夠用了,選擇r4版本記憶體條效果最好。

磁碟儲存:磁碟分為固態硬碟與機械硬碟兩個部分的儲存,固態硬碟的**比較便宜,為了加快地讀取的速度,可以使用磁碟陣列做成陣列卡,加快讀取速度,舉個例子一張12gb的硬碟速度不如3張4tb的機械硬碟,同時陣列卡更加安全,其中一張卡損壞,資料仍然可以讀出來。

最後說一下伺服器的機架,分為塔式與機架式,塔式的占地面積小,更加省地方,一般均選擇塔式。

以上就是所有深度學習伺服器的選擇指南,包涵了很多的計算機硬體的基礎知識,只有充分了解這些技術的知識嗎,才能根據不同的用途選擇最為合適的伺服器,做到物盡其用!加油加油!

如何搭建一台深度學習伺服器

this post was kindly contributed by 資料科學中的r和python go there to comment and to read the full post.在計算機時代的早期,一名極客的滿足感很大程度上 於能diy一台機器。到了深度學習的時代,前面那句話仍然是對...

如何搭建一台深度學習伺服器

在計算機時代的早期,一名極客的滿足感很大程度上 於能diy一台機器。到了深度學習的時代,前面那句話仍然是對的。那麼就有三個選擇項 a 購買組裝好的伺服器,例如nvidia digits devbox b 購買雲服務,例如amazon的gpu服務 c 自己攢一台深度學習伺服器。a項從價效比上不合算,而...

linux深度學習伺服器搭建 建立使用者 載入硬碟

這個部分算是比較雜亂的部分吧,畢竟今天又遇到不少坑,主要問題在建立使用者與硬碟的載入問題上了。建立使用者算是比較簡單了,伺服器涉及到多賬戶,建立新賬戶時候也不需要分配管理員許可權,所以就簡單多了。使用useradd可以建立使用者,並且指定home路徑。比如我想建立username使用者,在root下...