7 邏輯回歸實踐

1.邏輯回歸是怎麼防止過擬合的？為什麼正則化可以防止過擬合？（大家用自己的話介紹下）

過擬合問題產生的原因便是資料量太少，而變數過多，導致雖然能夠擬合所有的資料，但是曲線比較曲折。我們從以下幾個方面防止過擬合：在資料層面，加大樣本量;通過特徵選擇減少特徵量。在演算法層面，引入正則化。正則化可以提高泛化能力，如果正則化引數設定得足夠大，權重矩陣被設定為接近於0的值，直觀理解就是把多隱藏單元的權重設為0，於是基本上消除了這些隱藏單元的許多影響。如果是這種情況，這個被大大簡化了的神經網路會變成乙個很小的網路，小到如同乙個邏輯回歸單元，可是網路深度卻很深，它會使這個網路從過度擬合的狀態更接近高偏差狀態。但是會存在乙個中間值，於是會有乙個接近「just right」的中間狀態。

2.用logiftic回歸來進行實踐操作，資料不限。

使用邏輯回歸演算法**學生是否被高校錄取

from sklearn.linear_model import
logisticregression
from sklearn.model_selection import
train_test_split
from sklearn.metrics import
classification_report
import
pandas as pd
#1、載入資料集
data=pd.read_csv('
./data/logisticregression.csv')
x_data=data.iloc[:,1:]
y_data=data.iloc[:,0]
#2、劃分訓練集和測試集
x_train,x_test,y_train,y_test=train_test_split(x_data,y_data,test_size=0.2,random_state=5)
#3、構建模型並訓練模型
model_lr=logisticregression()
model_lr.fit(x_train,y_train)
#4、模型**
y_pre=model_lr.predict(x_test)
print('
**的錄取情況：
',y_pre)
print('
真實的錄取情況：
',y_test)
print('
分類報告：\n
',classification_report(y_test,y_pre))
print('
邏輯回歸的準確率為：%
'.format(model_lr.score(x_test,y_test)*100))

執行結果：

**的錄取情況： [000

0000

0010

1001

0000

1000

0000

1000

0000

0100

0000

0001

0]真實的錄取情況：

2180

1910

1170500

3480

..184

0140

0107

0241148

0name: admit, length:

80, dtype: int64

分類報告：

precision recall f1-score support

00.68

0.93

0.79541

0.43

0.12

0.18

26accuracy

0.66

80macro **g

0.56

0.52

0.48

80weighted **g

0.60

0.66

0.59

80邏輯回歸的準確率為：

66.25%

7 邏輯回歸實踐

7 邏輯回歸實踐

7 邏輯回歸實踐

7 邏輯回歸實踐

相關推薦