使用droupout技術注意

2021-09-16 20:30:41 字數 445 閱讀 4639

droupout:是一種針對深度學習廣泛應用的正則化技術。在每次迭代時隨機關閉一些神經單元思想:每次迭代時都會訓練乙個只使用一部分神經元的不同模型,隨著迭代的進行,由於其他神經元可能在任何時候都被關閉,因此神經元對其他特定神經元的啟用變得不那麼敏感。

注意:1.只能在訓練的時候使用隨機清除神經元,不能在測試中或者驗證中使用

2.深度學習框架:tensorflow,paddlepaddle,keras,caffe都帶有一層droupout實現

3.將droupout應用在向前和向後傳播上

4.在訓練期間,每乙個droupout層都要除以keep-prob這個概率來保持輸出同樣的啟用值(the same expected value for the activations)

正則化有助於減少過擬合,在訓練集上的效能降低了,但是提高了測試集上的效能。l2正則和droupout是兩個非常有效的正則化技術

技術開發注意點

api模組不要用assign了,我知道是從別的控制器複製來的,api模組沒有view模板層,需要去掉assign 花括號不要省掉,就算裡面只有一行,也不要省掉花括號 logic層的函式呼叫,不准讀session,不管是user id還是openid,只能從 控制器controller 讀sessio...

使用PHPexcel注意

1.使用phpexcel建立excel文件物件有2種。一種是直接建立 include phpexcel writer excel2007.php objphpexcel new phpexcel 另外一種是通過reader類進行讀取建立 require phpexcel reader excel20...

Jquery UI tab 使用注意

在使用ui tab時,不要在整個tab容器的div id example 和每個tab頁的div id fragment 1 2 3 中使用style,jquery會重 置這些地方的style,class屬性不受影響。例 divid example class flora ul li ahref f...