模型驗證方法 R語言

2022-08-22 14:18:15 字數 1339 閱讀 8012

在資料分析中經常會對不同的模型做判斷

作用:一種比較簡單的模型驗證方法,可算出不同模型的**精度

將模型的**值與實際值組合成乙個矩陣,正例一般是我們要**的目標。真正例就是**為正例且實際也是正例(**正確);假反例是實際是正例但模型錯誤**成反例(即**錯誤);假正例是**是模型**是正例,但實際是反例;真反例是**是反例,實際也是反例。

查準率=真正例/假正例+真正例(真正率佔我們**是正例的比例)

查全率=真正例/真正例+假反例(真正率佔我們實際是正例的比例)

以下以回歸模型為例,探索混淆矩陣的使用

# 設定五折交叉驗證規則

train_control

cv',number = 5

)# 對資料集分成

set.seed(

1234

)# 在任何隨機事件之前都需要設定隨機種子

index

head(index)

traindata

testdata

# 建立回歸樹模型

rpart_model1

trcontrol=train_control,method='

rpart')

# 將測試集匯入回歸樹模型,求得測試結果

pred_rpart

])# 利用混淆矩陣對回歸樹模型進行評估

con_rpart

con_rpart # 求得混淆矩陣結果

pred_rpart   0   1

0           2246  72

1           51     528

對應查準率為:528/51+528=91.19%

模型驗證,根據學習器的結果對樣例排序,逐個把樣本作為正例進行**,每次計算出兩個重要的值,分別以它們為橫縱座標作圖,即得到roc曲線。

###################roc曲線 #################

# roc函式的值必須是數值型,而pred_rpart為數值型

pred_rpart

roc_rpart

# 確定roc曲線的橫縱軸

specificity

sensitivity

# 開始繪製roc曲線圖

非線性模型(R語言)

首先,繪製出原資料的散點圖。試下如下 data9.3 attach data9.3 plot x,y 輸出結果為 可以看出,這時y yy與x xx之間呈現出非線性,因此需要對資料進行非線性回歸分析。實現如下 nls9.3 summary nls9.3 eebar sesse prey pybar y...

模型效果驗證方法

對於回歸問題,一般採用均方誤差驗證。對於分類問題,首先要明確兩個概念 查準率和查全率。資料可以分成四種類別 真正例tp 真反例tn 假正例fp 假反例fn。tp是指 結果是正例,實際也是正例的資料 tn指 結果是反例,實際也是反例的資料 fp是指 結果是正例,實際是反例的資料 fn指 結果是反例,實...

R語言實現RMF模型

rmf模型說明 rmf模型是客戶管理中,常被用來衡量客戶價值和客戶創利能力的重要方法。它主要考量三個指標 最近一次消費 recency 近期購買的客戶傾向於再度購買 消費頻率 frequency 經常購買的客戶再次購買概率高 消費金額 monetary 消費金額較多的客戶再次消費可能性更大 根據上述...