泛化：乙個假設模型應用到新樣本的能力。
解決過擬合方法：
①減少特徵數量。人工檢查變數清單；模型選擇演算法。但會失去一些特徵。
②正則化。保留所有特徵，減少量級或引數大小。
正則化思想：若引數值較小，則意味著乙個更簡單的假設模型，曲線越平滑，越不易出現過擬合問題。
λ是正則化引數，控制兩不同目標間的取捨，即使引數盡量小且更好的擬合訓練集、資料集。
加的2項是一額外正則項，目的是縮小θ1~θ100每乙個引數值，簡化模型，使更平滑。
我們希望找到乙個θ使代價函式最小：
方法一：梯度下降；
方法二：正規方程。
通常1-αλ/m是乙個比1略小一點的數。
如何優化梯度下降與其它優化演算法使其可用於logistic回歸。
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...