小資料的優化器們嘗試

2021-10-11 17:50:51 字數 559 閱讀 1699

嘗試了一下adam優化器,最高準確率仍為0.6,只不過lr從0.45轉化0.5後,準確率達到0.6重新了。

嘗試了一直講的動量,即sgd加了動量效果,沒有太大的提公升,卻更穩定了,但是最高準確率是0.59,確實不行,彷彿被區域性最優拖入深淵。

嘗試了rmse,用0.48,最高準確率0.59,用0.5,最高準確率仍是0.6。

這裡解說一下:

sgd是最普通的優化器,也可以說沒有加速效果,而動量是sgd的改良版,它加入了動量原則。後面的rmsprop又是momentum的公升級版。而adam又是rmsprop的公升級版。不過從這個結果中我們看到,adam的效果似乎比rmsprop要差一點。所以說並非越先進的優化器,結果越佳。我們在自己的試驗中可以嘗試不同的優化器,找到那個最適合你資料/網路的優化器。

其他優化器的嘗試,後續會放到這裡。

懷著歷史發展這麼久的想法,認為優化器肯定不止這麼幾個,所以剛剛查了查,在這個**: 2.控制

上發現了更多優化器。可以,那就試試吧。雖然我覺得目前優化器已經到了極限,因為看起來,我們到了0.6的瓶頸,我們需要其他方法解決。

Unity 後處理效果的優化嘗試

主要是在最近工作中的一些心得體會。後處理效果的效能問題主要在 1.螢幕每個畫素都要進行計算。2.可能會建立多張rendertexture的空間占用。3.多次blit操作,比如高斯模糊多次迭代。4.偶爾還需要新建攝像機渲染到rendertexture。優化提公升效能的思路也比較簡單,不過要結合具體後處...

Oracle資料庫優化器的優化方式

oracle是世界領先的資訊管理軟體開發商,因其複雜的關聯式資料庫產品而聞名。本文介紹oracle優化器,它是乙個非常好用的工具。oracle在執行乙個sql之前,首先要分析一下語句的執行計畫,然後再按執行計畫去執行。分析語句的執行計畫的工作是由優化器 optimizer 來完成的。不同的情況,一條...

mysql 查詢優化器 資料庫查詢優化器

所謂查詢優化,目標是關聯式資料庫下或者 newsql 的 sql server 層對 sql 語句進行優化,在不改變期望結果的情況下使得資料庫引擎計畫執行時間最短。狹義的查詢優化技術是指邏輯優化與物理優化 在後面會細講 廣義上的查詢優化技術包括從 sql 語句輸入開始,對 sql 語句的重寫,內部執...