邏輯回歸的常用面試點總結

2021-09-26 20:18:41 字數 1591 閱讀 7394

邏輯回歸是面試當中非常喜歡問到的乙個機器學習演算法,因為表面上看邏輯回歸形式上很簡單,很好掌握,但是一問起來就容易懵逼。所以在面試的時候給大家的第乙個建議不要說自己精通邏輯回歸,非常容易被問倒,從而減分。

如何凸顯你是乙個對邏輯回歸已經非常了解的人呢。那就是用一句話概括它!邏輯回歸假設資料服從伯努利分布,通過極大化似然函式的方法,運用梯度下降來求解引數,來達到將資料二分類的目的。

這裡面其實包含了5個點 1:邏輯回歸的假設,2:邏輯回歸的損失函式,3:邏輯回歸的求解方法,4:邏輯回歸的目的,5:邏輯回歸如何分類。這些問題是考核你對邏輯回歸的基本了解。

。邏輯回歸的基本假設

任何的模型都是有自己的假設,在這個假設下模型才是適用的。邏輯回歸的第乙個基本假設是假設資料服從伯努利分布。伯努利分布有乙個簡單的例子是拋硬幣,拋中為正面的概率是p,拋中為負面的概率是1-p.在邏輯回歸這個模型裡面是假設

。邏輯回歸的第二個假設是假設樣本為正的概率是 

。邏輯回歸的損失函式

。邏輯回歸的損失函式是它的極大似然函式

。邏輯回歸的求解方法

。由於該極大似然函式無法直接求解,我們一般通過對該函式進行梯度下降來不斷逼急最優解。在這個地方其實會有個加分的項,考察你對其他優化方法的了解。因為就梯度下降本身來看的話就有隨機梯度下降,批梯度下降,small batch 梯度下降三種方式,面試官可能會問這三種方式的優劣以及如何選擇最合適的梯度下降方式。

其實這裡還有乙個隱藏的更加深的加分項,看你了不了解諸如adam,動量法等優化方法。因為上述方法其實還有兩個致命的問題。

邏輯回歸的目的

。該函式的目的便是將資料二分類,提高準確率。

。邏輯回歸如何分類

邏輯回歸作為乙個回歸(也就是y值是連續的),如何應用到分類上去呢。y值確實是乙個連續的變數。邏輯回歸的做法是劃定乙個閾值,y值大於這個閾值的是一類,y值小於這個閾值的是另外一類。閾值具體如何調整根據實際情況選擇。一般會選擇0.5做為閾值來劃分。

3. 對邏輯回歸的進一步提問

邏輯回歸雖然從形式上非常的簡單,但是其內涵是非常的豐富,有很多問題是可以進行思考的

。邏輯回歸的損失函式為什麼要使用極大似然函式作為損失函式?

損失函式一般有四種,平方損失函式,對數損失函式,hingeloss0-1損失函式,絕對值損失函式。將極大似然函式取對數以後等同於對數損失函式。在邏輯回歸這個模型下,對數損失函式的訓練求解引數的速度是比較快的。至於原因大家可以求出這個式子的梯度更新

這個式子的更新速度只和

為什麼不選平方損失函式的呢?其一是因為如果你使用平方損失函式,你會發現梯度更新的速度和sigmod函式本身的梯度是很相關的。sigmod函式在它在定義域內的梯度都不大於0.25。這樣訓練會非常的慢。

。 邏輯回歸在訓練的過程當中,如果有很多的特徵高度相關或者說有乙個特徵重複了100遍,會造成怎樣的影響?  

為什麼我們還是會在訓練的過程當中將高度相關的特徵去掉?

邏輯回歸的優缺點總結

面試的時候,別人也經常會問到,你在使用邏輯回歸的時候有哪些感受。覺得它有哪些優缺點。   

在這裡我們總結了邏輯回歸應用到工業界當中的一些優點:   

但是邏輯回歸本身也有很多的缺點:

邏輯回歸的常見面試點總結

1.簡介 邏輯回歸是面試當中非常喜歡問到的乙個機器學習演算法,因為表面上看邏輯回歸形式上很簡單,很好掌握,但是一問起來就容易懵逼。所以在面試的時候給大家的第乙個建議不要說自己精通邏輯回歸,非常容易被問倒,從而減分。下面總結了一些平常我在作為面試官面試別人和被別人面試的時候,經常遇到的一些問題。2.正...

邏輯回歸的常見面試點總結

邏輯回歸是面試當中非常喜歡問到的乙個機器學習演算法,因為表面上看邏輯回歸形式上很簡單,很好掌握,但是一問起來就容易懵逼。所以在面試的時候給大家的第乙個建議不要說自己精通邏輯回歸,非常容易被問倒,從而減分。下面總結了一些平常我在作為面試官面試別人和被別人面試的時候,經常遇到的一些問題。如何凸顯你是乙個...

邏輯回歸 面試

1.簡介 邏輯回歸是面試當中非常喜歡問到的乙個機器學習演算法,因為表面上看邏輯回歸形式上很簡單,很好掌握,但是一問起來就容易懵逼。所以在面試的時候給大家的第乙個建議不要說自己精通邏輯回歸,非常容易被問倒,從而減分。下面總結了一些平常我在作為面試官面試別人和被別人面試的時候,經常遇到的一些問題。2.正...