7 邏輯回歸實踐

2022-08-21 03:21:17 字數 2423 閱讀 3579

1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?(大家用自己的話介紹下)

防止過擬合方法:

演算法層面-正則化:

l1正則,通過增大正則項導致更多引數為0,引數係數化降低模型複雜度,從而抵抗過擬合。

l2正則,通過使得引數都趨於0,變得很小,降低模型的抖動,從而抵抗過擬合。

資料層面:

加大樣本量。

通過特徵選擇減少特徵量。

過擬合的時候,擬合函式的係數往往非常大,而正則化是通過約束引數的範數使其不要太大,所以可以在一定程度上減少過擬合情況。

2.用logiftic回歸來進行實踐操作,資料不限

來**客戶是否訂購定期存款與年齡、婚否、教育水平等因素的關係

from sklearn.linear_model import logisticregression

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import standardscaler

from sklearn.metrics import classification_report

import pandas as pd

# 讀取資料

data = pd.read_csv('./bank.csv')

# 資料預處理

data=data.dropna()

# data['education'].unique()

# data.loc[data['education']=='primary','education']=0

# data.loc[data['education']=='secondary','education']=1

# data.loc[data['education']=='tertiary','education']=2

# data.loc[data['education']=='unknown','education']=3

# data['marital'].unique()

# data.loc[data['marital']=='married','marital']=0

# data.loc[data['marital']=='single','marital']=1

# data.loc[data['marital']=='divorced','marital']=2

# data['housing'].unique()

# data.loc[data['housing']=='yes','housing']=1

# data.loc[data['housing']=='no','housing']=0

# # data.info()

# 歸類(y - 客戶是否訂購了定期存款?)

data.loc[data['y']=='yes','y']=1

data.loc[data['y']=='no','y']=0

data['y'].value_counts()

# 資料分割

x_data = data.drop(["y"], axis=1)

y_data = data["y"]

x_train, x_test, y_train, y_test = train_test_split(x_data, y_data, test_size=0.3)

# 標準化處理

std = standardscaler()

x_train = std.fit_transform(x_train)

x_test = std.transform(x_test)

# 構建和訓練模型

lg = logisticregression()

lg.fit(x_train, y_train)

print('lg.coef_:\n', lg.coef_)

lg_predict = lg.predict(x_test)

print('準確率:\n', lg.score(x_test, y_test))

print('召回率:\n', classification_report(y_test, lg_predict, labels=[0, 1], target_names=['未訂購', '訂購 ']))

執行結果:

7 邏輯回歸實踐

1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?1 首先什麼是過擬合?過擬合是指訓練模型時過於嚴格,學習能力太強,導致訓練出的模型過於複雜,學習到了很多無關緊要的特徵,過度擬合的問題通常發生在變數 特徵 過多的時候。這種情況下訓練出的方程總是能很好的擬合訓練資料,此時的代價函式可能非常接...

7 邏輯回歸實踐

1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?大家用自己的話介紹下 是通過正則化來防止的。過擬合的時候,擬合函式的係數往往非常大,而正則化是通過約束引數的範數使其不要太大,所以可以在一定程度上減少過擬合情況。如下圖所示,過擬合,就是擬合函式需要顧忌每乙個點,最終形成的擬合函式波動很大。...

7 邏輯回歸實踐

1.邏輯回歸是怎麼防止過擬合的?為什麼正則化可以防止過擬合?大家用自己的話介紹下 邏輯回歸通過正則化來防止過擬合 正則化可以防止過擬合是因為過擬合的時候,擬合函式的係數往往非常大,而正則化是 通過約束引數的範數使其不要太大,所以可以在一定程度上減少過擬合情況,以l2正則化為例,正則項會使權重趨於0,...