做了幾個月的gpu的效能優化，一直沒來得及總結，先把大概要點總結一下，後面有空進行進一步完善。
tesla v100 + cuda 9.0 + linux c
資料格式要進行設計，把每個部分精簡至最小，減少對gpu視訊記憶體的占用，同時縮小資料的比對時間。
從記憶體load到快取，減少load的時間消耗，可採用mmap。
host快取到device視訊記憶體之間的拷貝很慢，減少拷貝次數和資料大小。
採用多執行緒能讓host端的處理程式並行，減少部分處理開銷。
非同步處理，不多說。
使資料拷貝時間和資料處理時間部分重疊，從而實現對處理時間的「隱藏」。
多使用暫存器變數，gpu處理時使用的資料不要存在交叉，執行緒個數是sm的整數倍。
60 cuda全域性性能優化
0 引言 cuda執行緒模型涉及grid的塊劃分和執行緒配置，直接影響到全域性運算速度。根據文件 cuda c programming guide 效能優化有三個方面的基本策略。1 最大化並行執行以實現最大的利用率.2 優化記憶體使用，以實現最大的記憶體吞吐量.3 優化指令使用，以實現最大的指令吞吐...
GPU 高效能程式設計 CUDA 執行緒協作
並行執行緒塊的分解 在向量加法中，為向量中的每乙個元素都啟動乙個執行緒塊 add dev a,dev b,dev c 尖括號中的第乙個引數建立的執行緒塊的數量，第二個引數表示每個執行緒塊中建立的執行緒數量，所以上述啟動的執行緒數量為 n n 1 使用執行緒實現 gpu 上的向量求和 需要修改兩個地方...
GPU高效能程式設計CUDA實戰 二
接下來實施 三步走戰略 配置 附加包含目錄 附加庫目錄 以及 附加依賴項 第一步 配置 附加包含目錄 注 對於cuda samples，有的電腦安裝後的路徑會隱藏，我們可以在 開始 按鈕處查詢，見下圖。第二步 配置 附加庫目錄 第三步 配置 附加依賴項 最後，驗證一下配置是否成功。在新建的工程mai...