風控模型穩定性指標PSI

2021-10-25 17:49:59 字數 1024 閱讀 7222

群體穩定性指標

是衡量樣本變化所產生的偏移量的一種重要指標,通常用來衡量樣本的穩定程度,比如樣本在兩個月份之間的變化是否穩定。

也可以用來衡量模型穩定度。通常用作模型效果監測。

由於模型是以特定時期的樣本所開發的,此模型是否適用於開發樣本之外的樣本,可以用穩定性測試。psi可以衡量測試樣本及模型開發樣本評分的分布差異,為最常見的模型穩定度評估指標。其實psi表示的就是按分數分檔後,針對不同樣本,或者不同時間的樣本,population分布是否有變化,就是看各個分數區間內人數佔總人數的佔比是否有顯著變化。

計算公式

psi = sum((實際佔比-預期佔比)* ln(實際佔比/預期佔比))

舉個例子解釋下,比如訓練乙個logistic回歸模型,**時候會有個類概率輸出,p。在你的測試資料集(舊資料)上的輸出設定為p1,將它的概率值從小到大排序後將資料集10等分(每組樣本數一樣,此為等寬分組),計算每等分組的最大最小**的類概率值。現在你用這個模型去對新的樣本進行**,**結果叫p2,利用剛才在測試資料集上得到的10等分每等分的上下界。按p2將新樣本劃分為10分(不一定等分了哦)。實際佔比就是新樣本通過p2落在p1劃分出來的每等分界限內的佔比,預期佔比就是測試資料集上各等分樣本的佔比。意義就是如果模型更穩定,那麼在新的資料上**所得類概率應該更建模分布一致,這樣落在建模資料集所得的類概率所劃分的等分區間上的樣本佔比應該和建模時一樣,否則說明模型變化,一般來自**變數結構變化。

psi實際應用範例:

1)樣本外測試

針對不同的樣本測試一下模型穩定度,比如訓練集與測試集,也能看出模型的訓練情況。我理解是看出模型的方差情況。

2)時間外測試

測試基準日和建模基準日相隔越遠,測試樣本的風險特徵和建模樣本的差異可能就越大,因此psi值通常較高。至此也可以看出模型建的時間太長了,是不是需要重新用新樣本建模了。

psi < 0.1 : 變化不太顯著

0.1 < psi < 0.25 :表示有比較顯著的變化

psi > 0.25 : 表示變化劇烈,需要特殊關注

模型穩定性指標 PSI

由於模型是以特定時期的樣本所開發的,此模型是否適用於開發樣本之外的族群,必須經過穩定性測試才能得知。穩定度指標 population stability index psi 可衡量測試樣本及模型開發樣本評分的的分布差異,為最常見的模型穩定度評估指標。其實psi表示的就是按分數分檔後,針對不同樣本,或...

手寫Psi模型穩定性

psi為群體穩定性指標 p opulation stability index 計算公式為 p si sum 實際佔比 預期佔比 ln 實際佔比 預期佔比 在金融行業的評分卡製作中,我們通常使用psi來判斷乙個模型穩定是否穩定 一般認為psi小於0.1時候模型穩定性很高,0.1 0.2穩定性較一般,...

系統穩定性指標計算器

自己寫的,用於計算系統的服務穩定性工具類 classname stabilitycalculator author kanpiaoxue version 1.0 createtime 2018 01 15 21 20 06 description 穩定性計算器 系統穩定性計算公式 年度 100 故障...