? ? ? 每次做完二值分類模型（eg： Logistic Regression, Decision Tree, Neural Network etc.），我們經(jīng)常會(huì)面對(duì)一連串的模型驗(yàn)證指標(biāo)，最常用的有ROC&AUC、Gini、PS、K-S等等。那我們不禁會(huì)問(wèn)：

1. 這個(gè)指標(biāo)怎么定義？

2.?怎么實(shí)現(xiàn)指標(biāo)計(jì)算？

3.?為什么用這個(gè)指標(biāo)？

4. 怎么用它評(píng)價(jià)模型？

?事實(shí)上，如果不明白這些評(píng)估指標(biāo)的背后的直覺(jué)，就很可能陷入一種機(jī)械的解釋中，不敢多說(shuō)一句，就怕哪里說(shuō)錯(cuò)。在這里就通過(guò)這篇文章，針對(duì)上述4個(gè)問(wèn)題，介紹一下ROC&AUC。

問(wèn)題1： ROC&AUC的定義分別是什么？

ROC曲線全稱為受試者工作特征曲線 （receiver operating characteristic curve），它是根據(jù)一系列不同的二分類方式（分界值或決定閾），以真陽(yáng)性率（敏感性）為縱坐標(biāo)，假陽(yáng)性率（1-特異性）為橫坐標(biāo)繪制的曲線。

???? AUC（Area Under Curve）被定義為ROC曲線下的面積。我們往往使用AUC值作為模型的評(píng)價(jià)標(biāo)準(zhǔn)是因?yàn)楹芏鄷r(shí)候ROC曲線并不能清晰的說(shuō)明哪個(gè)分類器的效果更好，而作為一個(gè)數(shù)值，對(duì)應(yīng)AUC更大的分類器效果更好。

注意：ROC是一條曲線是一條曲線啊，并不是一個(gè)值啊！真正通過(guò)計(jì)量手段比較模型功效的是AUC！！

問(wèn)題2： AUC是如何計(jì)算得到的？

? ? ? 既然我們已經(jīng)了解到AUC其實(shí)就是ROC曲線下的面積，那我們首先要理解ROC曲線從何而來(lái)，這其中必定蘊(yùn)含了ROC&AUC蘊(yùn)含的價(jià)值。

作為理解ROC曲線的鋪墊，我們還要先了解一下混淆矩陣（Confusion Matrix）。顯然，一個(gè)完美的二分類模型就是，如果一個(gè)客戶實(shí)際上屬于類別good，也預(yù)測(cè)成good（True Positive類），處于類別bad，也就預(yù)測(cè)成bad（True Negative類），也就是完全預(yù)測(cè)準(zhǔn)確。但從實(shí)際模型情況來(lái)看，往往會(huì)有一些實(shí)際上是good的客戶，經(jīng)過(guò)我們的模型，被預(yù)測(cè)為bad（False Negative類），對(duì)一些bad的客戶，卻預(yù)測(cè)他為good（False Positive類）。事實(shí)上，我們需要知道所建的模型到底預(yù)測(cè)對(duì)了多少，預(yù)測(cè)錯(cuò)了多少，然而混淆矩陣就把所有這些信息，都?xì)w到這樣一個(gè)表里。

實(shí)際數(shù)據(jù)中，客戶只有g(shù)ood/bad兩種可能，模型預(yù)測(cè)結(jié)果同樣也只有這兩種可能，可能匹配可能不匹配。匹配的好說(shuō)，Negative預(yù)測(cè)為Negative，或者?Positive預(yù)測(cè)為Positive，這就是True Negative（其中Negative是指預(yù)測(cè)成Negative）和True Positive（其中Positive是指預(yù)測(cè)成Positive）的情況。

? ? ? ?同樣，犯錯(cuò)也只有兩種情況。實(shí)際是Positive，預(yù)測(cè)成Negative ，這就是False Negative；實(shí)際是Negative，預(yù)測(cè)成Positive，這就是False Positive；

明白這些概念后，不難理解以下幾組常用的評(píng)估指標(biāo)：

（事實(shí)上ROC曲線只用到其中的3和4）

1. 準(zhǔn)確率accuracy： 針對(duì)整個(gè)預(yù)測(cè)情況。預(yù)測(cè)正確的/總實(shí)例數(shù) = (TP+TN)/(P+N)

2. 誤分類率error rate： 針對(duì)整個(gè)情況。預(yù)測(cè)錯(cuò)誤的/總實(shí)例數(shù) = (FP+FN)/(P+N)

3. 召回率recall/敏感性sensitivity: 針對(duì)good的正確覆蓋了。預(yù)測(cè)對(duì)的good實(shí)例/實(shí)際good的實(shí)例 = TP/P

4. 特異性specificity: 針對(duì)bad的預(yù)測(cè)正確率。預(yù)測(cè)對(duì)的bad實(shí)例/實(shí)際的bad實(shí)例數(shù) = TN/N

5. 命中率precision: 針對(duì)good的預(yù)測(cè)正確率。預(yù)測(cè)對(duì)的good實(shí)例/預(yù)測(cè)的good實(shí)例數(shù) = TP/(TP+FP)

6. Type I error: False Discovery Rate(FDR, false alarm) = 1- precision

7. Type II error: miss rate = 1- sensitivity

? ? ? 理解了混淆矩陣后，ROC曲線就不難理解了。事實(shí)上，ROC曲線就是不同的閾值下，敏感性（Sensitivity）和1-特異性（Specificity）的關(guān)系曲線。其中ROC曲線的橫軸為（1-特異性），即1-預(yù)測(cè)對(duì)的bad實(shí)例/實(shí)際的bad實(shí)例數(shù)；縱軸為敏感性，即預(yù)測(cè)對(duì)的good實(shí)例/實(shí)際good的實(shí)例，易知ROC曲線的橫軸縱軸的值域均為[0,1]。

下面我們從ROC曲線橫軸值從0到1取三個(gè)點(diǎn)進(jìn)行展示，以計(jì)算對(duì)應(yīng)的縱軸值：

1. 1-特異性=0

?1-特異性=0 意味著預(yù)測(cè)對(duì)的bad實(shí)例/實(shí)際的bad實(shí)例數(shù)=1，也就是說(shuō)所有bad都被預(yù)測(cè)為bad，如上圖所示。此時(shí)，對(duì)應(yīng)的縱軸值敏感性=TP/P=0.45。因此對(duì)應(yīng)ROC曲線上的點(diǎn)（0,0.45）。

2. 0<1-特異性<1

? ? ? 隨著橫軸值從0到1的增加，通過(guò)上圖可以表達(dá)為分割線的左移，如下圖。

?可以看到，隨著分割線的左移，也就是特異性逐漸減小，敏感性則逐漸增加。此時(shí)1-特異性=0.2，對(duì)應(yīng)的敏感性=0.85。因此對(duì)應(yīng)ROC曲線上的點(diǎn)（0.2,0.85）。

3. 1-特異性—>1

?隨著分界線的繼續(xù)左移，達(dá)到樣本分?jǐn)?shù)最小值時(shí)，所有樣本都被預(yù)測(cè)為good，此時(shí)1-特異性=0.98，對(duì)應(yīng)的縱軸值敏感性=,1。對(duì)應(yīng)ROC曲線上的點(diǎn)（0.98,1）。

? ? ? 好了，每個(gè)點(diǎn)都能畫了，那ROC曲線也就不在話下了，AUC的計(jì)算也就順其自然的進(jìn)行了。

? ? ? 實(shí)際應(yīng)用中，對(duì)于最常用的Logistic regression，SAS的PROC LOGISTIC可以輕松解決ROC圖像繪制以及AUC計(jì)算的問(wèn)題。

代碼如下

proc logistic?data=dataname?plots(only)=roc;

model?y=x1 x2 x3... xn;

run;

、

運(yùn)行程序即可得到ROC曲線以及相應(yīng)AUC=0.8005。

問(wèn)題3： AUC值和模型功效有何關(guān)系？

?我們不妨先固定某一橫軸值，也就是說(shuō)固定了分割線相對(duì)bad樣本的位置關(guān)系，根據(jù)敏感性的定義（敏感性=預(yù)測(cè)對(duì)的good實(shí)例/實(shí)際good的實(shí)例 ），不難發(fā)現(xiàn)在有相等橫軸值的情況下，縱軸值（敏感度）越大，模型功效越好。

? ? ??下圖中，對(duì)于相同的橫軸值（固定壞樣本分布和分割線），若模型的好樣本結(jié)果的分布情況為Distribution2，其相應(yīng)的縱軸值顯然大于Distribution1的情況，也就是y2>y1。 同樣，任意移動(dòng)分割線（也就是對(duì)任意橫軸值），都可以得到Distribution2的縱軸值大于等于Distribution1。那也很顯然情況2的模型比情況1具備更強(qiáng)的區(qū)分能力。這是最簡(jiǎn)單的比較情況，如果兩個(gè)模型并不是對(duì)于任意橫軸值都存在一致的縱軸值大小區(qū)分，我們?cè)撛趺幢容^呢？

這里我們?cè)賮?lái)回顧一下AUC是什么。AUC事實(shí)上是ROC曲線下的面積，事實(shí)上也是敏感性在x屬于[0,1]區(qū)間內(nèi)的積分！既然對(duì)于每個(gè)固定橫軸值，都存在縱軸值越大模型功效越好這個(gè)說(shuō)法，那么通過(guò)計(jì)量面積來(lái)比較模型的功效依舊成立，同時(shí)AUC還簡(jiǎn)化了指標(biāo)的維度，將2維的ROC圖轉(zhuǎn)化為1維數(shù)值，簡(jiǎn)化的同時(shí)還提供了模型與模型之間比較的契機(jī)，這也就很容易理解我們?yōu)槭裁匆褂肁UC值來(lái)展示模型的區(qū)分能力了！

問(wèn)題4： 如何使用AUC值評(píng)價(jià)模型？

? ? ? ROC曲線下的面積值（AUC)正常情況下在0.5和1之間。應(yīng)用中通常使用以下標(biāo)準(zhǔn)評(píng)價(jià)模型功效。

AUC?評(píng)價(jià)

? ? ? ?0.9-1? ? ? ? ? ? 高準(zhǔn)確性

? ? ?0.7-0.9? ? ? ? 有一定準(zhǔn)確性

? ? ?0.5-0.7? ? ? ? 有較低準(zhǔn)確性

? ? ? ?0-0.5? ? ? 不符合真實(shí)情況

? ? ? ?事實(shí)上，當(dāng)模型的ROC=1時(shí)，模型將所有好壞樣本完全分離，也就是說(shuō)低分區(qū)全是bad樣本，高分區(qū)全是good樣本，兩組樣本在得分上沒(méi)有交集，這也被成為“完美模型”。當(dāng)然，在實(shí)際建模中，“完美模型”顯然是不存在的。

? ? ? ?當(dāng)模型的ROC=0.5時(shí)，模型實(shí)際上相當(dāng)于一個(gè)隨機(jī)排序模型，也就是和說(shuō)生成隨機(jī)數(shù)評(píng)分沒(méi)啥區(qū)別，因此無(wú)法對(duì)我們的模型使用場(chǎng)景提供支持。