線性回歸就是針對回歸問題的一種線性模型。特點：簡單優雅，模型本身擬合樣本能力不強，通常需要深層次的特徵。
對損失函式的一些解釋：
假定誤差服從中心極限定理，說明了誤差進行疊加最後趨近於標準正態分佈，先對誤差建立極大似然估計，然後引入到樣本上，最終求解得到損失函式。
ps：中心極限定理假定每個樣本需要滿足均值為u，方差為
ps：損失函式
梯度下降法的模型：
由於優化的目標函式是乙個凸函式，所以它進行梯度下降是乙個一定可以達到最優的演算法模型。
由於是凸函式，所以我們直接可以求出解析解，而不是近似的數值解。（會涉及到矩陣求逆的操作）
ps：模型中間應該是減法代表著下降，因為括號裡把負號提出去了，所以變了。
注意：梯度下降每次只更新乙個引數（實數求導）；解析解每次會對全部引數進行更新（矩陣求導）。
過擬合：模型太執拗了，對一些異常點也要盡全力的去擬合，導致泛化能力低下產生過擬合。
就模型來說一般會加上正則項l1/l2，來減弱引數對資料樣本的表達能力。
就特徵來說可能會減少一些特徵，減少一些參數量的學習。
一般實際中可能資料比較複雜，所需要的模型也就要複雜，因為簡單的線性模型不能很好的進行擬合資料了。
一般思路是把非線性問題轉化為線性問題，可以通過引入核函式來加強線性回歸模型的表達。
ps：核函式主要是進行了特徵更深層次的組合。
總結ps：推導就不拍照了，紙上的推導比較亂，網上很多可以去查查。
Tensorflow 線性回歸與非線性回歸
二次代價函式 均方差 神經網路 1 20 1 w1 tf.variable tf.random normal 1 20 b1 tf.variable tf.zeros 20 wxplus1 tf.matmul x,w1 b1 l1 tf.nn.tanh wxplus1 w2 tf.variable ...
tensorflow非線性回歸
該程式有輸入層，中間層和輸出層 執行環境 ubuntun menpo queen queen x550ld downloads py python nonliner regression.py coding utf 8 定義乙個神經網路 輸入層乙個元素，中間層10個神經元，輸出層1個元素 impor...
2 非線性回歸
import keras import numpy as np import matplotlib.pyplot as plt sequential按順序構成的模型 from keras.models import sequential dense全連線層 from keras.layers imp...