模型區分度衡量指標 KS值

2022-06-16 09:18:11 字數 769 閱讀 6020

ks曲線和roc曲線都用到了tpr,fpr。ks曲線是把tpr和fpr都作為縱座標,而樣本數作為橫座標。但是auc只評價了模型的整體訓練效果,並沒有指出如何劃分類別讓預估的效果達到最好。

不同之處在於,ks取的是tpr和fpr差值的最大值。

偽陽性率(fpr) :判定為正例卻不是真正例的比率

真陽性率(tpr) :判定為正例也是真正例的比率

偽陰性率(fnr) :判定為負例卻不是真負例的比率

真陰性率(tnr) :判定為負例也是真負例的比率

令橫軸為閾值,縱軸為tpr和tpr,值域均為[0, 1]。可以這樣直觀理解,隨著橫座標從0到1變化,tpr越快提公升,模型效果越好;反之,fpr越快提公升,模型效果就越差。 ks值,正是圖中的最大差值,此時的橫軸取值,便是最佳閾值。 

1. 根據學習器的**結果(注意,是正例的概率值,非0/1變數)對樣本進行排序(從大到小)-----這就是截斷點依次選取的順序

2. 按順序選取截斷點,並計算tpr和fpr ---也可以只選取n個截斷點,分別在1/n,2/n,3/n等位置

3. 橫軸為樣本的佔比百分比(最大100%),縱軸分別為tpr和fpr,可以得到ks曲線

4. tpr和fpr曲線分隔最開的位置就是最好的」截斷點「,最大間隔距離就是ks值,通常》0.2即可認為模型有比較好偶的**準確性

模型 區分度 神秘的KS值和GINI係數

有效性指標中的區分能力指標 ks kolmogorov smirnov ks用於模型風險區分能力進行評估,指標衡量的是好壞樣本累計分部之間的差值。好壞樣本累計差異越大,ks指標越大,那麼模型的風險區分能力越強。ks的計算步驟如下 1.計算每個評分區間的好壞賬戶數。2.計算每個評分區間的累計好賬戶數占...

分類模型指標ks的含義

如果理解roc曲線的話,就很容易理解ks了。roc橫縱座標分別為fpr tpr。ks橫軸為閾值,縱軸為不同閾值下的tpr,fpr,ks值是max tpr fpr 即兩曲線相距最遠的距離 ks值含義 0.3 模型 性較好 0,2 0.3 模型可用 0 0.2 模型 能力較差 0 模型錯誤 徵信模型中,...

模型評價指標ROC AUC KS值

roc曲線 receiver operating characteristic 是乙個二維的曲線圖,橫座標是fpr 即實際為負例樣本,被錯誤判斷為正例的比率 縱座標tpr 即實際為正例樣本,被正確判斷為正例的比率 roc是怎麼畫出來的?遍歷所有的概率值,例如取概率大於0.7的判斷為正例,小於0.7的...