gpu最初就是為了遊戲而開發的
深度學習gpu目前指的就是英偉達的gpu
cpu一般是八核，十六核...可以同時做許多不同的事。可以多執行緒
gpu一般是幾千核，gpu的核很弱，很慢，需要幾個協作才能處理任務
cpu只有很小的cache，沒有記憶體
gpu本身有8/12/16gb的記憶體
gpu適合並行運算
矩陣相乘，卷積使用gpu非常高效 （小的運算可能cpu更快，但是大運算gpu很有優勢）
cuda是英偉達開發的類c語言，可以充分利用gpu特性
opencl 可以用於英偉達，amd，cpu 但是較慢
gpu一般比cpu快60-70倍
使用英偉達的cuda庫......，比你自己寫的快兩三倍。
模型儲存在cpu或gpu上，但資料在計算機裡，讀取資料會相對變得很慢。推薦使用固態硬碟或者將資料讀進ram裡
numpy不能執行在gpu上！！！而且得手動計算梯度
tensorflow先宣告計算圖，再開始多次迭代
由於numpy只能在cpu上，而網路有時候在gpu上，傳遞起來非常慢，因此w需要宣告為tf.variable() 而不是tf.placeholder()
tf.placeholder是需要賦值為numpy變數的
只是sess.run(loss) 引數是不會更新的
需要optimizer = tf.train.gradientdescentoptimizer(1e-3)
updates = optimizer.minimize(loss)
sess.run([loss,updates],feed_dict=values)
而updates事實上是通過tf.group(w1,w2...)來實現的，它不返回值，只是表明依賴關係,如下圖
tensorflow支援分布式計算，可以切換cpu/gpu
pytorch是動態計算圖，tensorflow是靜態計算圖
具體細節，**太多，不貼了。
python學習之路 第八講列表
整數，浮點數，字串，物件都可以放進去 陣列只能放同型別的資料 建立乙個普通列表 member 菲力牛排 沙拉 酸奶 建立乙個混合列表 mix 1,菲力牛排 3.13,1,2,3 建立乙個空列表 empty member 菲力牛排 沙拉 酸奶 print member 輸出結果 菲力牛排 沙拉 酸奶 ...
機器學習十講 第八講學習總結
維度災難 隨著維度 如特徵或自由度 的增多，問題的複雜性 或計算算代價 呈指數級增長的現象。高維空間的反直覺示例 單位球體積 一維，二維，三維的 長度 面積 體積 都有公式計算，而高維的計算公式是這樣的 d維空間半徑為r的球體體積公式 單位球體積與維度之間的關係圖示 在高維空間中，球體內部的體積與表...
《動手學深度學習》第八天 丟棄法
深度學習模型常常使用丟棄法 dropout 來應對過擬合問題，本節中提到的丟棄法特指倒置丟棄法 inverted dropout 由於丟棄法在訓練中隱藏層神經元的丟棄是隨機的，輸出層的計算無法過度依賴隱藏單元中的任乙個，從而可以用來應對過擬合。下面的dropout函式將以drop prob的概率丟棄...