0、對於正則罰項的理解
1、嶺回歸（l2 ridge regression ）
是一種專用於共線性資料分析的有偏估計回歸方法，實質上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分資訊、降低精度為代價獲得回歸係數更為符合實際、更可靠的回歸方法，對病態資料的擬合要強於最小二乘法。
關於最小二乘以及嶺回歸問題的解：
該方法是一種壓縮估計。它通過構造乙個懲罰函式得到乙個較為精煉的模型，使得它壓縮一些回歸係數，即強制係數絕對值之和小於某個固定值；同時設定一些回歸係數為零。因此保留了子集收縮的優點，是一種處理具有復共線性資料的有偏估計。
嶺回歸和lasso回歸
在多元線性回歸模型中估計回歸係數使用的是ols，但同時還也有異方差和多重共線性的影響。回歸中關於自變數的選擇大有門道，變數過多時可能會導致多重共線性問題造成回歸係數的不顯著，甚至造成ols估計的失效。嶺回歸和lasso回歸在ols回歸模型的損失函式上加上了不同的懲罰項，該懲罰項由回歸係數的函式構成，...
嶺回歸 lasso回歸
嶺回歸 ridge regression 和lasso least absolute shrinkage and selection operator 都是ols的改進，知乎上有關於三者異同的詳細討論 關於lasso 這裡記錄一下最近的學習心得。嶺回歸的含義 嶺回歸的權值計算公式中有單位方陣i，就像...
R 嶺回歸 lasso回歸
1.嶺回歸 嶺回歸 ridge regression,tikhonov regularization 實際上算是最小二乘法 ols 的改良版。最小二乘法中使用的是無偏估計回歸，而嶺回歸使用的是 有偏估計回歸 通過損失部分資訊 減低精度得到的回歸係數，但是這樣跟符合實際情況。因為ols有四個基本假設 ...