過擬合有兩種原因：
訓練集和測試集特徵分布不一致（白天鵝黑天鵝）
或者模型太過複雜（記住了每道題）而樣本量不足
解決過擬合也從這兩方面下手，收集多樣化的樣本，簡化模型，交叉檢驗。
cross validation，交叉比對（交叉驗證）
來來回回用不同的測試物件和訓練物件做交叉比對。這樣學到規律就不會過擬合啦~
加regularization，正則項
這個regularization可以有不同的形式，lasso是一種。所以可以通過引入regularization增加資訊，幫助尋找到最優解。
所謂overfitting就是在一些數學模型中由於過於複雜，有太多的觀測引數，以至於一點點微小的誤差都回產生巨大的影響，任何微小的資料擾動都會帶來巨大的改變。
一般來說有兩種克服overfitting的方法：一是補償模型的某些部分（如regularization）；二是根據潛在的問題提供額外的資料來訓練。
什麼是過擬合問題,怎麼樣避免
正則化regularization 為了和正規方程 normal equation 裡 正規 區分開來，這裡regularization都譯作 正則化 有些地方也用的是 正規化 以下內容來自wikipedia 正則化是指通過引入額外新資訊來解決機器學習中過擬合問題的一種方法。這種額外資訊通常的形式是...
關於怎麼解決過擬合問題
該博文分析了模型訓練過程中三種loss不下降的情況，並給出了一些解決的思路。1 網路層沒有初始化引數 2 超引數設定不合理 2.1 訓練的epoch太少 看到的只是區域性情況，最終要的其實是整體收斂就行，也許訓練100 1000 10000試試？2.2 學習率過高或者過低？合適的學習率可以保證每輪完...
怎麼解決過擬合
過擬合主要包括 建模樣本選取有誤。樣本噪音干擾過大。假設的模型無法合理存在，或者說是假設成立的條件實際並不成立。引數太多，模型複雜度過高。對於神經網路模型 a 對樣本資料可能存在分類決策面不唯一，隨著學習的進行,bp演算法使權值可能收斂過於複雜的決策面 b 權值學習迭代次數足夠多 overtrain...