選擇合適的損失函式
神經網路的損失函式時非凸的，有多個區域性最低點，目標是找到乙個可用的低點。非凸函式時凹凸不平的，但是不同的損失函式凹凸程度不同，比如平方損失和交叉熵損失相比後者起伏更大，且後者更容易找到乙個可用的最低點，從而達到優化的目的。
選擇合適的批量尺寸
採用合適的批量尺寸進行學習，一方面可以減少計算量，一方賣弄有助於跳出區域性最優點，因此要選擇合適的批量尺寸。另一方面，批量尺寸取太大會陷入最不最小值，取太小會抖動嚴重。
選擇合適的啟用函式
使用啟用函式把卷積層輸出做非線性對映，但是要選擇合適的啟用函式。比如：sigmoid函式是乙個平滑函式，且具有連續性和可微性，最大優點是非線性。該函式兩端很緩，易發生學不動的情況產生梯度瀰散；relu函式是現階段設計神經網路時使用最廣泛的啟用函式，該函式為非線性對映，且簡單能夠緩解梯度瀰散。
選擇合適的自適應學習率
學習率過大會抖動厲害，導致沒有優化提公升；
學習率過小會導致下降太慢，訓練緩慢；
使用動量
在梯度的基礎上使用動量，有助於衝出區域性最低點。
深度學習 Dropout如何解決過擬合
在機器學習的模型中，如果模型的引數太多，而訓練樣本又太少，訓練出來的模型很容易產生過擬合的現象 類似於結構力學中的超靜定問題，舉這個栗子是因為作者的專業是工程力學。當然了不保證栗子的準確性。在訓練神經網路的時候經常會遇到過擬合的問題，過擬合具體表現在 模型在訓練資料上損失函式較小，準確率較高 但是在...
深度學習如何解決生物除錯問題？
編者按 深度學習在近幾年實現了巨大的突破，而這一方法也被應用到越來越多的領域，用於解決過去在這些領域難以解決的問題。可以預見，在未來的科研中 深度學習 學科應用 將得到更廣闊的應用，生物學現在面臨著除錯的困難。生化系統 細胞 很複雜，深入研究它是十分有意義的。觀察你所了解的化合物是很有難度的，想要看...
mysql如何解決深度分頁問題
我們一般做深度分頁的時候，sql語句往往如下 select from tb test order by id desc limit 10000,20 limit 10000 20的意思掃瞄滿足條件的10020行，扔掉前面的10000行，返回最後的20行。如果是limit 1000000 100，需要...