機器學習面試題之線性回歸

2021-10-12 17:23:07 字數 877 閱讀 9670

1.簡單介紹一下線性回歸

線性就是兩個或者多個變數之間的關係符合一次函式關係,對應到影象上就是一條直線,這叫線性關係。那如果變數之間的關係不符合一次函式,影象就不是直線,也不滿足線性關係。

而回歸是指**,希望通過計算回歸到真實值。

線性回歸是用於**問題的有監督學習,通過學習x到y的乙個對映關係,希望利用學習到的這個對映關係實現對未知的資料進行**,另外線性回歸還是乙個連續值。

2.線性回歸的假設函式是什麼形式?

其中x0=1,θ ,θ和x都是列向量

3.線性回歸的代價(損失)函式是什麼形式?

**值和真實值的差的平方和的均值

4.線性回歸的求解方法

最小二乘法和梯度下降。

最小二乘法就是通過最小化誤差的平方來求解模型的權重係數。

5.梯度下降

隨機初始化引數,設定學習率和迭代次數,通過對損失函式求偏導更新引數,直至迭代完成或達到收斂條件

6.線性回歸要求因變數符合正態分佈?

是的,線性回歸的假設前提符合線性關係,雜訊符合正態分佈,進行線性回歸的前提是要符合正態分佈否則回歸效果不佳

7.線性回歸優缺點

優點:實現簡單,建模快,是許多非線性模型的基礎

缺點:模型簡單所以難以擬合複雜資料,對非線性的資料難以運用

機器學習面試題 邏輯回歸

q1 邏輯回歸在訓練的過程當中,如果有很多的特徵高度相關或者說有乙個特徵重複了很多遍,會造成怎樣的影響 如果在損失函式最終收斂的情況下,其實就算有很多特徵高度相關也不會影響分類器的效果。但是對特徵本身來說的話,假設只有乙個特徵,在不考慮取樣的情況下,你現在將它重複 n 遍。訓練以後完以後,資料還是這...

機器學習面試題之邏輯回歸(二)

1.邏輯回歸概述 邏輯回歸是乙個線性的二分類模型,主要是計算在某個樣本特徵下事件發生的概率,比如根據使用者的瀏覽購買情況作為特徵來計算他是否會購買這個商品,lr的最終值是根據乙個線性和函式再通過乙個sigmoid函式來求得的,該線性和函式是權重與特徵值的累加以及加上偏置求出來的,所以訓練lr也就是訓...

機器學習之線性回歸

訓練樣例 x y 輸入變數 特徵 x ps n 1行,1 列 輸出變數 目標變數 y訓練樣例總數 m 特徵維度 n第 i 個訓練樣例 x i y i 所有訓練樣例的輸入變數組成的矩陣 x ps m行,n 1 列,每行是 x i t 所有訓練樣例的輸出變數組成的矩陣 y ps m行,1 列 下表是某地...