模型穩定性指標 PSI

2022-06-22 15:15:11 字數 1231 閱讀 9315

由於模型是以特定時期的樣本所開發的,此模型是否適用於開發樣本之外的族群,必須經過穩定性測試才能得知。穩定度指標(population stability index ,psi)可衡量測試樣本及模型開發樣本評分的的分布差異,為最常見的模型穩定度評估指標。其實psi表示的就是按分數分檔後,針對不同樣本,或者不同時間的樣本,population分布是否有變化,就是看各個分數區間內人數佔總人數的佔比是否有顯著變化。公式如下:

這裡的ac與ex為不同時間段的模型輸出分數,如果psi過大,說明模型輸出的分數分布變化很大了,需要更新模型。 

psi實際應用範例:

1)樣本外測試

針對不同的樣本測試一下模型穩定度,比如訓練集與測試集,也能看出模型的訓練情況,我理解是看出模型的方差情況。

2)時間外測試

測試基準日與建模基準日相隔越遠,測試樣本的風險特徵和建模樣本的差異可能就越大,因此psi值通常較高。至此也可以看出模型建的時間太長了,是不是需要重新用新樣本建模了。

變數的psi計算:

psi:檢驗變數的穩定性,當乙個變數的psi值大於0.0001時,變數不穩定。

乙個變數,將它的取值按照分位數來分組一下,每一組中測試模型的客戶數占比減去訓練模型中的客戶數占比再乘以這兩者相除的對數,

就是這一組的穩定性係數psi,然後變數的psi係數就是把這個變數的所有組的psi相加總起來。

psi群體穩定性指標(population stability index)

psi = sum((實際佔比-預期佔比)/ln(實際佔比/預期佔比))

舉個例子解釋下,比如乙個評分卡模型,按天為維度計算psi,我們把模型剛上線第一天(設定為乙個基期)的各分數段使用者佔比作為預期佔比p1,之後每天的各分數段使用者佔比作為實際佔比p2,這樣根據公式就可以計算出每天的psi值,通過觀測這些psi的大小和走勢,從而實現對評分卡穩定性的監測。通常psi會以日、周和月為維度進行計算,同時也會對評分卡模型中各個特徵變數分別做psi監測。

模型分數的變化可能由特徵變化引起,也可能是模型本身不穩定引起,若是高分段總數量沒變,而psi值變動較大,認為需要重訓模型。

若是psi值沒變,高分段總數量變多,認為整體使用者變好。

手寫Psi模型穩定性

psi為群體穩定性指標 p opulation stability index 計算公式為 p si sum 實際佔比 預期佔比 ln 實際佔比 預期佔比 在金融行業的評分卡製作中,我們通常使用psi來判斷乙個模型穩定是否穩定 一般認為psi小於0.1時候模型穩定性很高,0.1 0.2穩定性較一般,...

風控模型穩定性指標PSI

群體穩定性指標 是衡量樣本變化所產生的偏移量的一種重要指標,通常用來衡量樣本的穩定程度,比如樣本在兩個月份之間的變化是否穩定。也可以用來衡量模型穩定度。通常用作模型效果監測。由於模型是以特定時期的樣本所開發的,此模型是否適用於開發樣本之外的樣本,可以用穩定性測試。psi可以衡量測試樣本及模型開發樣本...

mysql穩定性 MySQL的穩定性

isam表處理器 穩定 它管理所有在mysql 3.22和早期版本中的資料的儲存和檢索。在所有mysql版本中,中已經沒有乙個單獨 報告的 錯誤。得到乙個損壞的資料庫表的唯一已知方法是在乙個更新中途殺死伺服器,即使這樣也不大可能破壞任何資料而不能挽救,因為所有資料在每個查詢之間被倒入 flush 到...