1、在殘差網路中利用1*1進行降維，即設計乙個瓶頸層來使得網路更深可能不是乙個好主意，網路的通道更多即網路更寬一些在實驗中可能更能利用gpu的運算資源。
2、乙個訓練的技巧，當使用較小的學習率時使用較大的動量，使用較大的學習率時使用較小的動量，兩者的關係如圖所示：
3、如果損失函式的表現是非平穩的，那麼基於動量的優化方法會很差，此時可以使用rmsprop.
4、gan的評估目前還是乙個問題，gan可能會發生模式崩潰，即生成的目標種類匱乏，缺乏多樣性
5、超解析度的兩個技巧，一是去掉不必要的規範化，二是在殘差塊乘上乙個尺度因子0.1穩定訓練。
Python深度學習 學習筆記（十七）
結合 cnn 和 rnn 來處理長序列 運用一維卷積與迴圈層對文字進行學習，這裡我們依然拿耶拿的天氣資料進行舉例。import os data dir c users administrator desktop keras learn jena climate fname os.path.join ...
深度學習筆記（二十七）遷移學習和多工學習
在識別貓的場景下，我們已經訓練出了不錯的模型，如果要把這個模型搬到放射科診斷上，應該怎麼做呢？如下的做法利用了預訓練模型或者說微調 fine tuning 要在另乙個場景下做影象識別的工作，當然和識別貓不一樣咯，這裡的做法是把輸出層的去掉，並去掉輸出層的權值，然後為輸出層賦予隨機權重，讓神經網路在放...
學習linux十七
4.46 訪問控制4 限制user agent 補充 curl命令用法 curl v a aaaaaspider 3.0 e 1111 x127.0.0.1 80 bbs.qinkailinux.cc i a指定user agent e指定referer x指定訪問目標伺服器的ip和port i只顯...