伺服器GPU使用情況檢視命令詳解

在伺服器上執行**的時候，會出現runtimeerror：cuda error ：out of memory的情況，因此需要檢視記憶體使用情況。

第一欄的fan：n/a是風扇轉速，從0到100%之間變動，這個速度是計算機期望的風扇轉速，實際情況下如果風扇堵轉，可能打不到顯示的轉速。有的裝置不會返回轉速，因為它不依賴風扇冷卻而是通過其他外設保持低溫（比如我們實驗室的伺服器是常年放在空調房間裡的）。

第二欄的temp：是溫度，單位攝氏度。

第三欄的perf：是效能狀態，從p0到p12，p0表示最大效能，p12表示狀態最小效能。

第四欄下方的pwr：是能耗，上方的persistence-m：是持續模式的狀態，持續模式雖然耗能大，但是在新的gpu應用啟動時，花費的時間更少，這裡顯示的是off的狀態。

第五欄的bus-id是涉及gpu匯流排的東西，domain:bus:device.function

第六欄的disp.a是display active，表示gpu的顯示是否初始化。

第五第六欄下方的memory usage是視訊記憶體使用率。

第七欄是浮動的gpu利用率。

第八欄上方是關於ecc的東西。

第八欄下方compute m是計算模式。

列出每個程序占用的視訊記憶體使用率。

需要注意的是，視訊記憶體占用和gpu占用是兩個不一樣的東西，顯示卡是由gpu和視訊記憶體等組成的，視訊記憶體和gpu的關係有點類似於記憶體和cpu的關係。跑caffe**的時候視訊記憶體占得少，gpu佔得多，跑tensorflow**的時候，視訊記憶體佔得多，gpu占得少。