參考筆記：本文以**精靈寶可夢的cp值為案例，已知資訊為寶可夢的多種屬性，來**進化後的寶可夢cp值
這裡先以linear model為代表
y i=
b+∑w
ixiy_i=b+\sum w_ x_
yi=b+
∑wi
xi其中x
ix_i
xi表示寶可夢的各種屬性值，b
bb代表bias, w
iw_i
wi則表示x
ix_i
xi對應的權值，y
yy表示**進化後的cp值
確定了模型，然後我們的目標就是從假設空間中選擇最優的模型，也即**結果和真實結果相差無幾，也就是loss function最小，常用的損失函式有：
通過優化這個損失函式，我們可以找出最優的引數w,b
w, b
w,b，也即最優的回歸線，具體的求解過程可以通過以下方法求出
關於梯度下降的求解，老師給出了local minima和global minima的概念，也就是在梯度更新的過程中，在一些梯度為0的點可能就卡住，不再下降，從而無法到達global minima
如果我們在優化loss function的過程中，一味的追求最小的loss,比如說通過選擇一些複雜度更高的多項式函式去擬合，常常會造成過擬合(over-fitting)的現象，這體現在模型在訓練集可以最佳的擬合，但是在測試集反而擬合效果很差。
我們希望所學得的模型不僅在訓練資料上良好，同時也希望在測試資料上取得不錯的成績，正則項的引入就是為了讓兩種效能保持平衡，直觀的理解就是讓模型中一些數值特別大的點盡可能的小，從而實現平滑的效果。
而且，正則化項一般是模型複雜度的單調遞增函式，模型越複雜，正則化值就越大，下面是懲罰項和訓練誤差，測試誤差的關係圖
機器學習2 回歸案例
為了衡量func set中的某個function的好壞，我們需要乙個評估函式，即loss function，損失函式，簡稱l loss function是乙個function的function l f l w,b l f l w,b l f l w,b gradient descent的厲害之處在於...