first exercise of ng』s courses.
線性回歸和多元線性回歸用來解決資料**問題，最終目的是通過最小化誤差j_theta給出最優h_theta假設函式。
線性回歸中梯度下降函式和最小二乘法的比較：梯度下降法是一步步求取梯度下降方向，逐漸減小theta， 逐漸找到全域性最優解。最小二乘法是一步求取theta最優解，最小二乘法的公式記得在ex2中用到。加上正則項是為了防止出現過擬合（如分界曲線太彎曲）。
這篇文章總結了最小二乘法的公式：
src="" width="100%" height="1000">
1 線性回歸與非線性回歸
線性回歸就是針對回歸問題的一種線性模型。特點 簡單優雅，模型本身擬合樣本能力不強，通常需要深層次的特徵。對損失函式的一些解釋 假定誤差服從中心極限定理，說明了誤差進行疊加最後趨近於標準正態分佈，先對誤差建立極大似然估計，然後引入到樣本上，最終求解得到損失函式。ps 中心極限定理假定每個樣本需要滿足均...
1 線性回歸（二）
為什麼要用特徵縮放？不用的話，特徵尺度不一樣，導致損失函式的曲面分布會變得很扁很細，甚至出現某個截面是u型的狀況。越細越陡峭，偏導就越大，越容易發散，梯度下降就會走得很艱難。親身體驗，縮放前，學習率就是大爺，大一點就 小了又比蝸牛還慢，4kw次才勉勉強強到最小點 縮放後，學習率成了怎麼玩都玩不壞的橡...
線性模型 1 多元線性回歸
提綱 線性模型的基本形式 多元線性回歸的損失函式 最小二乘法求多元線性回歸的引數 最小二乘法和隨機梯度下降的區別 疑問學習和參考資料 1.線性模型的基本形式 線性模型是一種形式簡單，易於建模，且可解釋性很強的模型，它通過乙個屬性的線性組合來進行 其基本的形式為 式 1 轉換成向量形式之後寫成 式 2...