機器學習 1 機器學習類別,線性回歸

2021-09-29 12:21:52 字數 1005 閱讀 8923

包括分類,回歸等問題模型。

簡單來說,在有監督學習中, 所有的資料都會被 打上標籤,基於已知的資料集, 進行訓練,然後使用訓練好的模型去**未知的資料集的 結果。

包括聚類,關聯規則等問題模型。

無監督學習中的資料是沒有標籤的,只能通過一些計算去學習 一些未知的知識。比如聚類演算法中依靠計算距離最近的點,將其分為自己那一類。這個過程是自己學的,資料本身並沒有告訴他每乙個點屬於哪乙個類別。 

如下圖所示,我們以下圖的場景進行舉例

我們想知道額度(y)與工資(theta1)和年齡(theta2)之間究竟有何線性關係,首先我們要列出線性方程。這個讀過高中應該都不難。

其中theta0是乙個偏向,類似於y = wx+b中的b

那麼,我們 想要通過線性回歸去不斷求出最好的theta值,我們需要構建它的損失函式

線性模型下1個二維樣本點的mse損失為(以y=wx+b為例,沒什麼差別,就是少了個引數,方便一點)

線性模型下n個 二維樣本點的mse損失為:

其中,wx+b 是我們所定的線性回歸方程,這個方程的w和b的值是需要不斷去更新的,具體如何更新接下來我們會說。我想說,真實值y我們是知道的,那麼我們的w和b怎麼樣是最好的呢?是wx+b的值和真實的y值之間的差要盡可能小,這樣證明我們擬合的曲線是正確的。所以現在就變成了求f(w,b) = wx+b - y這個方程的最小值。(x,y)值我們都是有的,這就是線性回歸的本質思想。關鍵就在於,損失函式f出來之後,你要立馬反應出來這是乙個關於w,b的函式,而不是x,y的函式。

機器學習(1) 線性回歸

無正則的線性回歸模型 l1正則的lasso模型 l2正則的ridge regression 嶺回歸 模型 開方均方誤差 rooted mean squared error,rmse 平均絕對誤差 mean absolute error,mae 1.生成學習器例項 lr linearregressio...

機器學習 1 線性回歸

2 linear regression with multiple variables multivariate linear regression 多變數線性回歸 3 gradient descent in practice 3.2 learning rate 3.3 features and p...

機器學習之1 線性回歸

在最近一段時間,對機器學習進行了學習,但感覺效果不是很好。一日與朋友聊起此事,他建議建個部落格,一來梳理一下所學內容,二來和大家一起學習交流。因此,建立了此部落格,如果您發現博文中有不當之處,歡迎您來郵指明,我的郵箱為212352807 qq.com 在機器學習中,基本分為兩大問題 監督學習 sup...