我眼中的模型評估

模型驗證樣本是有要求的

模型驗證樣本需要與前面建模樣本進行完全相同的處理，即：

混淆矩陣有什麼用

邏輯回歸模型的幾個衡量指標如洛倫茲曲線、roc曲線、lift曲線等皆**於混淆矩陣，如果針對同乙個問題構建不同的模型，當進行模型間效果比較時，經常會用到這三個曲線。

不單單是邏輯回歸模型具有混淆矩陣，只要因變數為離散形式的模型都具有混淆矩陣，混淆矩陣不是為邏輯回歸模型設定的，而是為分類選擇模型而設定的，連決策樹與神經網路都會有混淆矩陣。

混淆矩陣中的數值是動態的資料，其中，a與d都是猜對的資料，理論上這兩格中資料量越大越好，但是b與c的資料也是必不可少的，如果沒有b與c部分的資料，則會造成過度擬合。一般，混淆矩陣會涉及到下面幾個解讀指數：

沒人用決策樹做信用評分模型

從模型穩定性角度來看，決策樹不能做信用評分模型，原因涉及到決策樹演算法背後的搜尋邏輯。決策樹進行拆分時，其演算法會以搜尋的形式去尋找最優值，搜尋的方式有窮舉搜尋與啟發式搜尋兩種：

上面兩種搜尋形式，無論使用哪一種，都極有可能錯過最優值，並非演算法有問題，而是計算的方式存在問題，因此任何的統計軟體都必須考慮截斷誤差，如果截斷誤差控制的不好，便很有可能會出現漏掉最優值的情況。

決策樹最大的問題在於，每次計算規則都會發生變動，所以我經常在信用評分建模前用決策樹進行風險分池，而絕不會用決策樹去主導構建信用評分模型。

何謂風險分池，舉個例子，例如某個客戶信用卡逾期，但是經查詢發現該人為本地首富，那麼可以斷定該人違約可能並非出於本意，很可能是發生了意外的情況導致違約，風險分池就是將這樣的人與老百姓分池分開。

我眼中的roc曲線

衡量模型效果的指標之一為roc曲線，一般，roc曲線的取值在[0.5,1]之間，如果：

一般，roc曲線還會出現如下兩種不同的情況，分別適用於不同的業務場景：

如果建模後roc曲線是這樣的形態，說明模型在違約風險高人群中的**能力很強，而對於違約風險低的人員**能力較差。很多的業務場景會專門要求做出這樣的模型，例如汽車金融，因為業務的特點會要求篩選出極高風險的客戶，而對於大部分客戶還是予以分期貸款的。

如果建模後roc曲線是這樣的形態，說明模型在違約風險低的人群中**能力很強，在高風險人群中的**能力很弱，例如銀行的信用卡中心，業務需要明確授予低風險的優質客戶較高的額度，所以需要明確哪些客戶的違約風險較低。

營銷場景最看重提公升度曲線

提公升度曲線也是衡量分類模型效果的指標之一，它衡量的是與隨機選擇相比，模型對於響應的**能力的好壞程度。一般，提公升度曲線越往上、下降越慢表示模型越好。

通常，營銷場景，而業務營銷場景會更為關注lift曲線。sas em中可以提供lift曲線。

信用評分模型最看重ks

一般，信用評分模型最為看中的模型指標不是roc曲線、不是洛倫茲曲線，也不是lift曲線，而是ks。ks曲線用於表示模型對於好壞樣本的區分程度。通常：

通常模型的監控工作只需要使用ks曲線進行監控即可，如果事後監控發現好壞樣本之間的差異已經不太明顯的時候，則說明模型已失效，需要重新進行模型修正、調整。

個人**：