線性回歸(1)基本要素

2021-09-27 00:03:44 字數 764 閱讀 7204

線性回歸模型可以說是機器學習裡面第乙個學的模型了,理解了這個過程,那麼機器學習的一般過程也就很明白了。

架設房價為y,房屋面積為x1,房齡為x2。我們收集一系列的這些資料,用於訓練這個模型。

一棟房屋被稱為乙個樣本,真實**y稱為標籤(label),用來**的兩個因素x1,x2稱為特徵(feature)

**表示式為:

平方損失:

其中常數1/2使對平方項求導後的常數係數為1

通常,我們用訓練資料集中所有樣本誤差的平均值來衡量模型**的質量:

我們希望找出一組模型引數,記為使得訓練樣本平均損失最小:

像是線性回歸最小化問題的解可以直接用公式表示出來,這類解叫做解析解

然而大多數的深度學習模型並沒有解析解,只能通過有限次迭代模型引數來盡可能降低損失函式的值,這類解叫做數值解。

數值優化演算法中,小批量隨機梯度下降在深度學習中被廣泛運用:

1.選取一組模型引數的初始值,如隨機選取;

2.對引數進行多次迭代,求出最小值;在每次迭代中,隨機取乙個小批量資料b,求小批量中資料樣本的平均損失函式的導數。

3.用此結果與預先設定的乙個正數(學習率)的乘積作為模型引數在本次迭代的減小量。

其中批量大小和學習率不能通過模型訓練得出,因此稱為超引數

線性回歸的基本要素

為了簡單起見,這裡我們假設 只取決於房屋狀況的兩個因素,即面積 平方公尺 和房齡 年 接下來我們希望探索 與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係 p ri ce w area are a wa ge a ge b mathrm w cdot mathrm w cdot ma...

敏捷開發基本要素

1.敏捷是 乙個 過程 敏捷不是乙個過程,是一類過程的統稱,它們有乙個共性,就是符合敏捷價值觀,遵循敏捷的原則。敏捷的價值觀如下 個體和互動 勝過 過程和工具 可以工作的軟體 勝過 面面俱到的文件 客戶合作 勝過 合同談判 響應變化 勝過 遵循計畫 由價值觀引出的12條敏捷原則 我們最優先要做的是通...

敏捷開發基本要素

1.敏捷是 乙個 過程 敏捷不是乙個過程,是一類過程的統稱,它們有乙個共性,就是符合敏捷價值觀,遵循敏捷的原則。敏捷的價值觀如下 個體和互動 勝過 過程和工具 可以工作的軟體 勝過 面面俱到的文件 客戶合作 勝過 合同談判 響應變化 勝過 遵循計畫 由價值觀引出的12條敏捷原則 我們最優先要做的是通...