機器學習正則化筆記概要
正則化（regularization）是用於抑制過擬合的方法的統稱，它通過動態調整估計引數的取值來降低模型的複雜度，以偏差的增加為代價來換取方差的下降。
總結起來:利用貝葉斯概率來確定最優引數的步驟可以歸納如下：求解的物件是已知訓練資料時，測試資料的條件概率 p(y∗|y)，要計算這個條件概率就要對所有未知的引數和超引數進行積分，以消除這些變數。
而在已知的資料和未知的超引數之間搭起一座橋梁的，正是待估計的引數 w，它將 p(y∗|y) 的求解分解成兩部分，一部分是根據已知資料推斷引數，另一部分是根據引數推斷未知資料。
而在根據已知資料推斷引數時，又要先推斷超引數，再利用超引數和資料一塊兒推斷引數。對超引數的推斷則可以通過邊際似然概率簡化。
正則化的作用是抑制過擬合，通過增加偏差來降低方差，提公升模型的泛化效能；
正則化項的作用是對解空間新增約束，在約束範圍內尋找產生最小誤差的係數；
頻率視角下的正則化與貝葉斯視角下的邊際化作用相同；
邊際化對未知的引數和超引數進行積分以消除它們的影響，天然具有模型選擇的功能。
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...