2020.10.22
今天看到深度學習的正則化問題。
正則化可以很好地解決過擬合問題。過擬合問題表現在神經網路對於訓練集的準確度很高，但對於驗證集、測試集的準確度相比於訓練集準確度相差較大。
過擬合可以形象地理解為，神經網路對於測試集的樣本學習的非常好，好的以至於學的有一些偏，會抓住一些存在於測試集中，但不廣泛存在於現實資料中的特徵進行判斷，並且在判斷中對於這個標準較為倚重，給他很大的佔比。因為這個較為偏少見的特徵並不一定在現實中適合作為判斷標準，所以對於測試集的準確度不如訓練集高。（過擬合，對訓練集適合的程度過頭了，以至於只能在訓練集上面得到最好的準確度，也可以說失去了泛化性）
舉個例子，就好像我們判斷男女，一般來講，女性的**可能比男性的要白嫩些，但是如果只以**的白嫩作為判斷因素，那麼就有較高的概率出錯。
講完了正則化主要解決的問題，我們再講一下正則化。
正則化（regularization），可以直譯為規則化，像神經網路裡面增加人類給其定製的規則。
從**角度來看，正則化的**為損失函式與反向傳播中的dw加入了一點「小尾巴」。
對於損失函式，他改善了引數範圍，加入了人類的先驗知識。
對於dw的反向傳播，它可以減緩反向傳播的速度。原來可能訓練1000次過擬合了，加入正則化後，原來的一千次訓練次數不變，但是訓練出來的引數可能就如同原來訓練800次一樣，神經網路過擬合的可能性就會相對減小（次數少了，不容易在訓練集這個覆蓋範圍較小的資料中，找到不太合適的特徵作為判斷標準）。
應用正則化，我們把輸出的範圍改變到了乙個我們認為更加合適的區域，乙個引數更有可能在較小迭代次數下找到最優值的區域，這樣可以更好地執行我們的網路。
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...