機器學習面試之邏輯回歸

2021-10-12 17:23:07 字數 919 閱讀 8978

1.簡單介紹一下邏輯回歸

邏輯回歸解決分類問題而不是回歸問題(回歸問題用於**),之所以名字中帶乙個回歸是因為決策邊界那個假定的是乙個滿足線性回歸的方程,所以取名為邏輯回歸。再說回邏輯回歸,通過引入乙個滿足線性回歸的決策邊界,將其代入非線性變換的sigmoid函式中,將結果對映到【0,1】之間,通過設定閾值進行分類,比如大於0.5的是正樣本,小於0.5的就是負樣本

2.sigmoid函式

結果在[0,1]之間。

3.lr的假設函式

4.lr的損失函式

建立在極大似然估計的背景下。極大似然估計是乙個求最大的問題,損失函式是乙個求最小的問題。

5.lr的優缺點

6.lr為什麼基於極大似然求解

損失函式除了平方損失函式還有對數損失函式,極大似然函式取對數等同於對數損失函式。不選用平方損失函式是因為sigmoid在其定義域內的梯度都不大於0.25,訓練會非常慢。

7.邏輯回歸在訓練的過程當中,如果有很多的特徵高度相關或者說有乙個特徵重複了100遍,會造成怎樣的影響?

如果損失函式能收斂,那不會有很大的影響。但是訓練過程中還是去掉高度相關的特徵比較好,這樣可以提高訓練的速度。

補充

機器學習之邏輯回歸

什麼叫邏輯回歸?簡單來講便是目標值只有,而線性回歸的目標值卻是乙個區域 0,1 可以代表得病沒得病,正確錯誤,etc.那麼怎麼才能把給定的輸入值正確的分類到呢,下面就介紹乙個特別的函式 sigmoid函式,g z 1 1 exp z 啥都不說先上圖。上圖便是sigmoid函式圖了,之所以引用這個函式...

機器學習之 邏輯回歸

邏輯回歸又稱logistic回歸,邏輯斯諦回歸,是一種廣義的線性回歸分析模型。sigmoid函式也是神經網路中常用的函式,用於把x從負無窮到正無窮壓縮到y從0到1之間。畫出來就是一條s型曲線,如下圖中的藍色曲線 它以0點為中心對稱,公式如下 當x值接近負無窮時,分母很大,s x 接近0,當x接近正無...

機器學習之邏輯回歸

邏輯回歸 logistic regression 最初是為了解決二分類問題。對於線性模型要想進行如二分類任務,最簡單的辦法就是通過階躍函式 unit step function 即將線性模型的輸出值套上乙個函式進行分割,大於z的判定為0,小於z的判定為1。如下圖左所示 但這有個問題是,分段函式不連續...