通俗的理解是神經網路中的引數指的是那些通過訓練可以進行調節的引數.比如權重和偏置量.超引數指的是在訓練之前需要手工設定的,不斷試錯調整的引數.
1.learning rate:學習率指的是在網路訓練過程中,權重每次調整的幅度大小,其決定了權值更新的速度.學習率設定過小,會導致網路的收斂速度變慢.過大可能導致收斂結果在最優值左右來回跳動.在訓練過程中一般都採用指數衰減的的方式調節學習率,即隨著訓練次數的增大,學習率不斷降低.
2.learning rate decay:上面提到學習率隨著訓練次數的增加會降低,訓練次數每增加一次,學習率降低的幅度大小由learning rate decay確定.
3.weight decay:權重衰減,在網路的訓練過程中,會通過求損失函式的最小值來不斷優化網路權重,但直接優化損失函式經常會出現過擬合的現象.為了避免過擬合,會給損失函式新增乙個懲罰項(正則化項),常用的懲罰項是所有權重的平方和乘以乙個衰減常量(這個衰減常量就是weight decay),用來懲罰大的權值.所以我們平時優化的函式叫做目標函式,(目標函式=損失函式+懲罰項).
4.momentum:動量,在訓練過程中,人為給定乙個動量可以加快梯度的收斂過程.
5.迭代次數:迭代次數指的是訓練集中的資料在網路中進行訓練的次數.當測試錯誤率和訓練錯誤率相差較小是,可以人為當前的迭代次數是合理的.
6.權重初始化:在網路訓練之間,要先給權重乙個隨機的初始值,這裡有兩種方法.第一種是採用均勻分布的方法初始化各層網路的權重,自己從頭開始訓練網路模型.第二種是採用該模型之前已經訓練好的權重作為訓練的初始值,這樣做的原因在於,已經在該模型上訓練過的權重已包含了大量的有用的卷積過濾器,與其從零開始訓練所有權重,不如使用已經訓練好的引數作為訓練的起點.這樣做不僅可以節約大量的訓練時間,而且有助於分類器效能的提高.
7.dropout:作為一種常用的正則化方式,在全連線環節加入dropout可以減弱深層神經網路的過擬合效應.該方法會按照所設定的引數,在每次的訓練過程中隨機地不啟用一定數量的神經元.該引數預設設定為0.5.
(1)網格搜尋
(2)隨機搜尋
引數與超引數
模型引數是模型內部的配置變數，可以用資料估計模型引數的值 模型超引數是模型外部的配置，必須手動設定引數的值。具體來講，模型引數有以下特徵 進行模型 時需要模型引數。模型引數值可以定義模型功能。模型引數用資料估計或資料學習得到。模型引數一般不由實踐者手動設定。模型引數通常作為學習模型的一部分儲存。通常...
引數與超引數
計算機學科裡有太多的術語，而且許多術語的使用並不一致。哪怕是相同的術語，不同學科的人理解一定有所不同。比如說 模型引數 model parameter 和 模型超引數 model hyperparameter 對於初學者來說，這些沒有明確定義的術語肯定很令人困惑。尤其是對於些來自統計學或經濟學領域的...
引數和超引數
舉例說明一些機器學習演算法中的普通引數和超引數 機器學習演算法 普通引數舉例 超引數舉例 決策樹在每個節點上選擇的輸入變數 每個節點上選擇的閾值 每個葉節點所應包括的最少資料量，訓練後的剪枝 pruning 策略 隨機森林 同上決策樹的數量，輸入變數的數量 支援向量機 支援向量 support ve...