機器學習筆記1 線性回歸

2021-08-15 19:11:56 字數 840 閱讀 3684

資料探勘、人工智慧等領域中存在兩個:

分類和回歸

。先說回歸:

一些簡單的數學題,求解問題往往通過求解未知數,也就是 通過給定的自變數和函式,通過函式求解得到未知數。

而機器學習是,通過給定的自變數函式的解,去求解函式。即求解function(x)=y。通過樣本中大量的特徵(x)和目標變數(y)求得這個函式(function)。高等數學中說到,大多數函式都能找到乙個近似的泰勒展開式,其實,機器學習,就是醫用資料去擬合這個所謂的「泰勒展開式」。

根據訓練樣本的過程不同,機器學習往往可以分為supervised learning(監督學習)和unsupervised learning(非監督學習)兩類。簡單理解的話:監督學習就好比你在做題目,做完以後有參***可以對照,從而得出獲得正確答案的方法。而非監督學習則是只給你一堆題目,你做的題多了,自然也能判斷出獲得正確答案的規律。

監督學習多用於回歸分析(求解是連續值,比如某一區間)和分類問題(求解是離散值,比如對錯)。非監督學習初步多用於聚類演算法(群分析)。

那麼 ,問題來了,什麼是線性回歸呢?

那麼問題來了,怎麼找k0和k1?

通過,一種叫做「梯度下降法」的方法。對於任意的k0和k1,先分別求偏導,然後乘以乙個a控制下降速度。然後選任意選取乙個起點,然後,分別對於的k0和k1,加減乙個值,使得j(k0加減z,k1加減z)不斷重複,直到再也找不到乙個z(或者z太小可以忽略不計),使得j(k0加減z,k1加減z)如果每次計算都得到的差值都很奇怪,比如一下大一下小,一下正一下負,可能是控制幅度太大,縮小a

的值即可。不斷重複直到差值小於乙個你覺得合適的極小值。

機器學習筆記1 線性回歸

機器學習三要素 演算法 資料 模型 三者關係 利用演算法通過在資料上訓練得到模型,模型可以用來在新的資料上 結果。資料 分為有標註 無標註資料,需要轉化為向量空間模型vsm,供計算機使用 模型 值y 和實際值y誤差越小模型越好。描述y 和y之間差別的函式叫損失函式 loss function 描述整...

機器學習(1) 線性回歸

無正則的線性回歸模型 l1正則的lasso模型 l2正則的ridge regression 嶺回歸 模型 開方均方誤差 rooted mean squared error,rmse 平均絕對誤差 mean absolute error,mae 1.生成學習器例項 lr linearregressio...

機器學習 1 線性回歸

2 linear regression with multiple variables multivariate linear regression 多變數線性回歸 3 gradient descent in practice 3.2 learning rate 3.3 features and p...