一、
1.欠擬合
訓練集上表現很差（這種情況在測試集上也不會好），高偏差（bias）。
解決辦法：選擇更複雜的網路；有正則項就減小正則項引數等。
2.過擬合
訓練集上表現很好，但測試集上表現很差，高方差（variance）。
解決辦法：採用更多資料；如果有正則化就增加正則化引數，沒有就加上正則化；dropout等。
參考：二、1.資料擴增
以資料為例有：影象平移、影象旋轉、影象映象、影象亮度變化、裁剪、縮放、影象模糊。
2.正則化
在損失函式後面加上懲罰項（lambda/2m*w的l1/l2範數）。
1）l1可以讓一部分特徵的係數縮小到0，從而間接實現特徵選擇。所以l1適用於特徵之間有關聯的情況。
2）l2讓所有特徵的係數都縮小，但是不會減為0，它會使優化求解穩定快速。所以l2適用於特徵之間沒有關聯的情況
3.dropout
dropout是指在模型訓練時隨機讓網路某些隱含層節點的權重不工作，不工作的那些節點可以暫時認為不是網路結構的一部分，但是它的權重得保留下來（只是暫時不更新而已），因為下次樣本輸入時它可能又得工作了。
1）2）
欠擬合與過擬合
在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...
過擬合與欠擬合
過擬合與欠擬合 欠擬合 個人理解就是由於資料少 正則化太厲害 模型複雜度太簡單等原因，導致模型沒有學習到足夠的規律，準確率與模型可達到的準確率差距較大。但是模型在訓練集和測試集的曲線趨勢是正常收斂的。解決方法為有 增加特徵，尋找與標籤相關性較大的特徵，在保證特徵沒有共線性的前提下，增加特徵的數量 減...
欠擬合與過擬合
機器學習中的泛化，泛化即是，模型學習到的概念在它處於學習的過程中時模型沒有遇見過的樣本時候的表現。在機器學習領域中，當我們討論乙個機器學習模型學習和泛化的好壞時，我們通常使用術語 過擬合和欠擬合。我們知道模型訓練和測試的時候有兩套資料，訓練集和測試集。在對訓練資料進行擬合時，需要照顧到每個點，而其中...