1、l1損失 -- 最小絕對值誤差
最小化（**值 - 真實值）的絕對值，魯棒性強。
2、l2損失 -- 最小平方誤差
最小化（**值 - 真實值）的平方，對於大於1的數，平方更大，因此對樣本敏感。
3、l1正則化
l1正則化和l2正則化可以看做是損失函式的懲罰項，l1正則化是指權值向量中各個元素的絕對值之和。l1正則化可以產生稀疏權值矩陣，稀疏模型就是大部分權重為0的模型，只有小部分特徵對結果有效，有利於特徵選擇。
4、l2正則化（權重衰減）
l2正則化就是在代價函式後面再加上乙個正則化項，原來權重係數為1，現在變為1−ηλ/n < 1，讓係數變小，也就是權重衰減，因此l2正則化可以防止模型過擬合。l2正則化是指權值向量ww中各個元素的平方求和，然後再求平方根。
L1 L2正則化介紹
1 正則化 regularization 對引數w的影響 說明 loss 代表原始的代價函式，後面那一項就是l2正則化項，它是這樣來的 所有引數w的平方的和，除以訓練集的樣本大小n。就是正則項係數，權衡正則項.在這裡並沒有除以樣本數量和2，是因為使用了絕對值誤差。一般情況下，los s y y 2 ...
L1，L2正則化的區別
1，l1會趨向於產生少量的特徵，而其他不重要的特徵都為0，會產生稀疏性，可以用來選擇特徵，也能一定程度上防止過擬合。而l 2會選擇更多的特徵，特徵值都趨近於0，防止過擬合。lasso在選擇特徵時非常有用，而ridge就只是規則化而已。所以在所有特徵中只有少數特徵起重要作用的情況下，選擇lasso進行...
DataAnalysis 正則化和L1 L2範數
一般而言，監督學習的目標函式是 第一項機器學習中損失函式後面經常會跟乙個l1或者l2正則函式，也稱l1 l2範數。0 l0範數 指權值向量 1 l1範數 指權值向量 注 由於l0範數很難優化求解 np難問題 和l1範數是l0範數的最優凸近似，從而一般只考慮l1而不考慮l2範數。2 l2範數 指權值向...