中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

交叉驗(yàn)證

模型的開發(fā)基于歷史數(shù)據(jù)，而模型的使用則針對(duì)未來(lái)的數(shù)據(jù)。為了模擬這種建模方式，將數(shù)據(jù)集分為三部分：訓(xùn)練集、驗(yàn)證集和測(cè)試集。

• 模型在訓(xùn)練集上的誤差（即真實(shí)結(jié)果與預(yù)測(cè)結(jié)果間的差異）稱為訓(xùn)練誤差或經(jīng)驗(yàn)誤差；
• 模型在驗(yàn)證集與測(cè)試集上的誤差稱為泛化誤差。

而單個(gè)模型在訓(xùn)練集上訓(xùn)練希望訓(xùn)練誤差最小，并在驗(yàn)證集上測(cè)試模型表現(xiàn)以確定單個(gè)模型的最優(yōu)參數(shù)；當(dāng)有多個(gè)候選模型時(shí)，需要在測(cè)試集上對(duì)比不同模型的測(cè)試表現(xiàn)，以選出最優(yōu)的模型，一般將這個(gè)過(guò)程稱為嵌套交叉驗(yàn)證

模型的表現(xiàn)如何量化是模型評(píng)估指標(biāo)需要處理的問(wèn)題，也稱為性能度量

• 在內(nèi)層交叉驗(yàn)證中，不同的模型評(píng)估指標(biāo)會(huì)決定單個(gè)模型的最優(yōu)參數(shù)組合；
• 在外層交叉驗(yàn)證中會(huì)決定多個(gè)模型中的最優(yōu)模型交付使用

內(nèi)層交叉驗(yàn)證用于模型參數(shù)優(yōu)化；外層交叉驗(yàn)證用于模型選擇，尋找最優(yōu)模型

模型的泛化能力

我們把模型在未來(lái)數(shù)據(jù)上的預(yù)測(cè)能力稱為泛化能力。

模型訓(xùn)練誤差(training error)與測(cè)試誤差(test error)可以用來(lái)衡量模型的泛化能力。誤差相差越小，泛化能力越強(qiáng)。

過(guò)擬合與欠擬合

模型訓(xùn)練完成后，不僅希望模型在訓(xùn)練集上表現(xiàn)優(yōu)異(訓(xùn)練誤差小)，更希望模型在測(cè)試集上也具有較好的表現(xiàn)，模型在測(cè)試集上的表現(xiàn)稱為模型的泛化能力。

• 過(guò)擬合是指模型在訓(xùn)練集上的表現(xiàn)非常好，但在測(cè)試集上模型的表現(xiàn)較差，即模型在訓(xùn)練集上學(xué)了過(guò)多的規(guī)則，但規(guī)則并不是普適的規(guī)則，導(dǎo)致模型的外推能力或泛化能力下降。
• 欠擬合與過(guò)擬合問(wèn)題剛好相反，是指模型學(xué)習(xí)到較少的規(guī)則，在訓(xùn)練集上與測(cè)試集上的表現(xiàn)均不理想。

圖a為一條直線，顯然學(xué)習(xí)到的規(guī)則過(guò)少，稱為欠擬合（模型不能夠在訓(xùn)練集上獲得足夠低的誤差）；圖c采用了四階的形式，可以完美地經(jīng)過(guò)每一個(gè)樣本，但是為了得到更小的誤差而過(guò)分地拘泥于經(jīng)驗(yàn)數(shù)據(jù)，稱為過(guò)擬合（訓(xùn)練誤差與測(cè)試誤差太大）；而圖b雖然沒(méi)有完美地穿過(guò)每個(gè)樣本，但卻是更加合理的模型。

構(gòu)建模型時(shí)，需要可以控制模型復(fù)雜度來(lái)調(diào)整模型的泛化能力：

1. 降低訓(xùn)練誤差
2. 縮小訓(xùn)練誤差與測(cè)試誤差的差距

從特征工程的角度分析，圖a相當(dāng)于原始變量沒(méi)有做特征工程，而圖b和圖c相當(dāng)于添加了二階特征與高階特征。欠擬合問(wèn)題是因?yàn)樘卣鞴こ滩怀浞?，算法不能很好地學(xué)習(xí)到較好的規(guī)則。解決欠擬合問(wèn)題，可以從特征工程的角度增加特征的多樣性。而過(guò)擬合問(wèn)題，由于進(jìn)行了比較充分的特征工程，使得簡(jiǎn)單的模型也可以學(xué)習(xí)到過(guò)多的規(guī)則。這與特征工程要盡可能多地尋找特征并不沖突，此時(shí)可以通過(guò)加正則項(xiàng)的方式來(lái)防止過(guò)擬合。

對(duì)于上述3個(gè)模型，其基本形式為，因此對(duì)于a來(lái)說(shuō)，，即二次項(xiàng)以上的權(quán)重為0（為截距項(xiàng)，與b代表的含義相同，這里只是為表示方便寫成）。同理，對(duì)于圖b是三次項(xiàng)以上的權(quán)重為0。可見，權(quán)重可以反映模型的復(fù)雜度。加正則項(xiàng)的辦法是將權(quán)重作為損失函數(shù)的一部分一起進(jìn)行參數(shù)優(yōu)化。常用的正則項(xiàng)有L1正則、L2正則。

添加L1正則后的損失函數(shù)(MAE)表示為：

添加L2正則后的損失函數(shù)(MSE)表示為：

其中，n為樣本數(shù)，d為屬性或特征數(shù)。λ＞0。第一部分就是原來(lái)的交叉熵?fù)p失即訓(xùn)練誤差——表征在訓(xùn)練集的所有樣本的平均損失；第二部分為正則項(xiàng)即結(jié)構(gòu)風(fēng)險(xiǎn)——限制模型的復(fù)雜度，以保證模型不要太復(fù)雜而出現(xiàn)過(guò)擬合問(wèn)題。

標(biāo)準(zhǔn)評(píng)估指標(biāo)

評(píng)分卡模型常用的邏輯回歸模型，對(duì)于每一個(gè)入模樣本，使用評(píng)分卡模型預(yù)測(cè)其PD (probability of default 違約概率)值。設(shè)定一個(gè)切分閾值（Cutoff）后，當(dāng)PD高于Cutoff，則預(yù)測(cè)y=1，否則，預(yù)測(cè)y=0，從而實(shí)現(xiàn)分類。

在申請(qǐng)?jiān)u分中更關(guān)心模型對(duì)壞樣本的準(zhǔn)確預(yù)測(cè)能力；而在反欺詐應(yīng)用中，更關(guān)心模型預(yù)測(cè)的欺詐用戶中有多少是真實(shí)欺詐的用戶。常用混淆矩陣計(jì)算召回率（Recall）和精準(zhǔn)率（Precision）等指標(biāo)?；煜仃囀嵌x單點(diǎn)指標(biāo)的基礎(chǔ)，對(duì)于給定的Cutoff，從混淆矩陣中可以計(jì)算評(píng)價(jià)指標(biāo)集的多個(gè)技術(shù)指標(biāo)。

以少數(shù)樣本即壞樣本為正樣本計(jì)算模型的預(yù)測(cè)輸出，得到的混淆矩陣如下表：

分類結(jié)果混淆矩陣

True Positive(真正,TP)被模型預(yù)測(cè)為正的正樣本；

False Positive(假正,FP)被模型預(yù)測(cè)為正的負(fù)樣本；

True Negative(真負(fù),TN)被模型預(yù)測(cè)為負(fù)的負(fù)樣本；

False Negative(假負(fù),FN)被模型預(yù)測(cè)為負(fù)的正樣本；

真正、真負(fù)為預(yù)測(cè)正確的類別，假正、假負(fù)為預(yù)測(cè)錯(cuò)誤的類別。

上述指標(biāo)中，混淆矩陣和單點(diǎn)指標(biāo)是在給定某個(gè)Cutoff閾值時(shí)計(jì)算出的指標(biāo)，這些指標(biāo)是相對(duì)于給定的Cutoff閾值而言的。ROC曲線、PR曲線、Lift曲線等則是連續(xù)變化后形成的軌跡曲線。AUC和Gini區(qū)域指標(biāo)則是對(duì)應(yīng)曲線下的面積。

準(zhǔn)確率

指預(yù)測(cè)正確的正負(fù)樣本數(shù)和總樣本數(shù)的比值

召回率(查全率)

召回率衡量了在所有正例中模型正確預(yù)測(cè)的概率，召回率與漏報(bào)率相對(duì)，即召回率越高，漏報(bào)率越小。

精確率(查準(zhǔn)率、精準(zhǔn)率)

精準(zhǔn)率衡量了所有模型預(yù)測(cè)為正例的樣本中真實(shí)為正例的概率，精準(zhǔn)率與誤報(bào)率相對(duì)，即精準(zhǔn)率越高，誤報(bào)率越少。

召回率(查全率)是從真實(shí)結(jié)果的角度評(píng)判，精準(zhǔn)率(查準(zhǔn)率)是從模型預(yù)測(cè)的角度來(lái)評(píng)判

對(duì)于同一模型，不同的閾值設(shè)定會(huì)得到不同的預(yù)測(cè)類別，召回率與精準(zhǔn)率是一對(duì)相互制約、此消彼長(zhǎng)的指標(biāo)，實(shí)際應(yīng)用中往往會(huì)犧牲某一指標(biāo)來(lái)提高另一指標(biāo)。針對(duì)不同的業(yè)務(wù)場(chǎng)景，設(shè)定不同的閾值。如可容忍30%的誤報(bào)率即精準(zhǔn)率為70%的前提下，最大可能地提高召回率即降低漏報(bào)率，提高拒絕壞用戶的能力。又如在某病毒檢測(cè)中不希望漏掉任何一個(gè)陽(yáng)性患者，這種情況下，就要追求很高的召回率。但在商品推薦時(shí)，為了盡可能少地打擾客戶，希望推薦的內(nèi)容是客戶感興趣的，這時(shí)就要追求高精確率。

P-R曲線與BEP平衡點(diǎn)

為了綜合考慮召回率與精準(zhǔn)率，以召回率為橫坐標(biāo)、精準(zhǔn)率為縱坐標(biāo)，繪制P-R曲線來(lái)比較模型的優(yōu)劣。若一個(gè)學(xué)習(xí)器的 P-R 曲線被另一個(gè)學(xué)習(xí)器的曲線完全“包住”，則可斷言后者的性能優(yōu)于前者，如下圖學(xué)習(xí)器 A 的性能優(yōu)于學(xué)習(xí)器 C；如果兩個(gè)學(xué)習(xí)器的 P-R 曲線發(fā)生了交叉，如圖中的A與 B，則難以一般性地?cái)嘌詢烧呤雰?yōu)孰劣，這時(shí)P-R曲線可以通過(guò)曲線與坐標(biāo)軸圍成的面積來(lái)比較模型性能的優(yōu)劣，同時(shí)也可以采用平衡點(diǎn)（Break Even Point，BEP）來(lái)衡量，令每個(gè)分類模型的召回率與精準(zhǔn)率相等即為該模型的BEP，BEP越大，則模型的性能越好，P-R曲線如下圖所示：

F1指標(biāo)

但是P-R曲線要繪圖來(lái)進(jìn)行比較，BEP方法是P-R曲線的一種量化方法。而更好的量化方法是F1指標(biāo)，F(xiàn)1指標(biāo)可以更方便地完成模型的性能度量。F1指標(biāo)計(jì)算公式如下：

Fl 是基于查準(zhǔn)率與查全率的調(diào)和平均值(harinonicmean)定義的： ，參考周志華老師《機(jī)器學(xué)習(xí)》，下同

F1指標(biāo)綜合考慮了召回率與精準(zhǔn)率兩種情況，如果希望考慮更多的召回率或精準(zhǔn)率，則有如下的變異形式，即 指標(biāo)：

• 當(dāng) = 1時(shí)，指標(biāo)蛻化為F1指標(biāo)，此時(shí)召回率與精準(zhǔn)率的重要程度相同；
• 當(dāng)＞1時(shí)，召回率的影響大于精準(zhǔn)率；
• 當(dāng)＜1時(shí)，精準(zhǔn)率的影響大于召回率。

可見，標(biāo)準(zhǔn)評(píng)估指標(biāo)的本質(zhì)是從模型預(yù)測(cè)結(jié)果出發(fā)來(lái)度量模型性能優(yōu)劣的，如分類模型從混淆矩陣中得到各種不同的性能指標(biāo)，回歸模型直接從預(yù)測(cè)結(jié)果與真實(shí)結(jié)果的偏差角度進(jìn)行分析。接下來(lái)要介紹的指標(biāo)主要是分類模型的度量指標(biāo)，并且從概率的角度度量模型的性能。

概率密度評(píng)估指標(biāo)

以二分類為例，模型經(jīng)過(guò)sigmoid函數(shù)將概率值轉(zhuǎn)化為分類指標(biāo)，即概率大于0.5被判斷為正例，小于0.5被判為負(fù)例。得到模型預(yù)測(cè)正負(fù)樣本的概率密度曲線(以壞樣本為正樣本)，如下圖所示：

上面以繪圖基于概率密度度量模型性能，接下來(lái)考慮量化指標(biāo)的實(shí)現(xiàn)方式。

• 信息熵

  概率是表征隨機(jī)變量確定性的度量；信息是隨機(jī)變量不確定性的度量，熵是不確定性度量的平均值，即為信息的平均值。熵的本質(zhì)是香農(nóng)信息量log(1/p)。s記一個(gè)隨機(jī)變量x的概率分布為P(x)，則信息熵公式：

  
  

關(guān)于信息熵公式。h(x,y) = h(x) + h(y)，由于x，y是倆個(gè)不相關(guān)的事件，滿足p(x,y) = p(x)*p(y).根據(jù)上面推導(dǎo)，h(x)一定與p(x)的對(duì)數(shù)有關(guān)（因?yàn)閷?duì)數(shù)形式的真數(shù)相乘之后，對(duì)應(yīng)對(duì)數(shù)的相加形式）。因此信息量公式如下：信息量取概率的負(fù)對(duì)數(shù)，其實(shí)是因?yàn)樾畔⒘康亩x是概率的倒數(shù)的對(duì)數(shù)。而用概率的倒數(shù)，是為了使概率越大，信息量越小，同時(shí)因?yàn)楦怕实牡箶?shù)大于1，其對(duì)數(shù)自然大于0了。

常見的熵如下表所示。

黑色部分為未知的部分，而白色部分為已知的部分。即H(X)熵表征了隨機(jī)變量X的不確定性的度量，是所有可能發(fā)生的事件產(chǎn)生的信息量的期望。即信息量的期望。在信息論中，熵表示隨機(jī)變量X的最小編碼長(zhǎng)度。

• 條件熵

條件熵H(Y|X)表示已知隨機(jī)變量X的條件下隨機(jī)變量Y的不確定性。條件熵H(Y|X)定義為給定X的條件下Y的條件概率分布的熵對(duì)X的數(shù)學(xué)期望：

• 互信息

也稱為信息增益，用于衡量?jī)蓚€(gè)變量的相關(guān)程度，也是ID3決策樹訓(xùn)練階段特征選擇采用的衡量指標(biāo)（參考風(fēng)控中的決策樹模型）。隨機(jī)變量X與Y的互信息、信息熵、條件熵的關(guān)系如下：

• 交叉熵是Logistic回歸或神經(jīng)網(wǎng)絡(luò)乃至深度學(xué)習(xí)模型中的損失函數(shù)。假設(shè)已知隨機(jī)變量的真實(shí)分布為p，預(yù)測(cè)分布為q，交叉熵度量了從q到p還需要的信息量，是性質(zhì)非常好的損失函數(shù)。

  
  

相對(duì)熵

也稱為K-L散度（Kullback–Leibler divergence），K-L散度是兩個(gè)隨機(jī)分布之間距離的度量，就是似然比的對(duì)數(shù)期望，這正是要找的衡量?jī)蓚€(gè)概率密度函數(shù)獨(dú)立性的指標(biāo)。

在信息論中，相對(duì)上等價(jià)于兩個(gè)概率分布的信息熵的差值，若其中一個(gè)概率分布為真實(shí)分布，另一個(gè)是預(yù)期分布，則相對(duì)熵等于交叉熵與真實(shí)分布的信息熵之差，表示使用逾期分布擬合真實(shí)分布時(shí)產(chǎn)生的信息損耗。

而K-L散度沒(méi)有對(duì)稱性，即D(p||q)≠D(q||p)。既然K-L散度沒(méi)有對(duì)稱性，兩個(gè)隨機(jī)分布之間的K-L散度求和，這個(gè)求和后的距離越大，證明兩個(gè)隨機(jī)分布的距離越大，即獨(dú)立性越好，模型的預(yù)測(cè)效果越好。

得到了一個(gè)具有對(duì)稱性的距離，即為K-L距離。如果我們將上述的兩個(gè)隨機(jī)分布換為模型預(yù)測(cè)后得到的正負(fù)樣本的概率密度函數(shù)f(p|B)與f(p|G)，就得到下列公式：

將上式寫成離散形式，即連續(xù)變量分箱后的形式為

對(duì)稱化后的K-L散度即K-L距離就是IV（Information Value）值。這就是在變量選擇時(shí)，IV值大的變量對(duì)目標(biāo)變量的預(yù)測(cè)能力更好。因?yàn)镮V值其本質(zhì)就是K-L距離，在每個(gè)區(qū)間的IV值越大，表示在這個(gè)區(qū)間內(nèi)正負(fù)樣本的概率密度函數(shù)f(p|B)與f(p|G)的距離就越大，在該區(qū)間內(nèi)變量對(duì)好壞樣本的區(qū)分度就越高，整個(gè)變量的IV值就是每個(gè)區(qū)間的IV值加和。而在模型評(píng)估中，同樣可以計(jì)算IV值來(lái)度量模型性能。

因此，在變量選擇階段，IV值可以用來(lái)選擇預(yù)測(cè)能力強(qiáng)的變量，在模型評(píng)估中可以用來(lái)衡量不同模型的預(yù)測(cè)性能。

概率分布評(píng)估指標(biāo)

將概率密度函數(shù)做積分，就得到了概率分布函數(shù)，因此模型的性能度量也可以從概率分布角度入手。

將混淆矩陣與正負(fù)樣本的概率密度函數(shù)f(p|B)與f(p|G)相對(duì)應(yīng)得到下圖，假設(shè)概率大于等于0.5為正樣本，壞樣本其概率密度函數(shù)表示為f(p|B)；反之，概率小于0.5為負(fù)樣本，好樣本其概率密度分布表示為f(p|G)。

希望得到正確預(yù)測(cè)與錯(cuò)誤預(yù)測(cè)的比率，需要真正率TPR和假正率FPR兩個(gè)概念的定義：

• 真正率TPR：預(yù)測(cè)為正例且實(shí)際為正例的樣本占所有正例樣本（真實(shí)結(jié)果為正樣本）的比例。
• 假正率FPR：預(yù)測(cè)為正例但實(shí)際為負(fù)例的樣本占所有負(fù)例樣本（真實(shí)結(jié)果為負(fù)樣本）的比例。

TPR和FPR與概率分布相對(duì)，其表示的是以某概率值為cutoff得到的面積與整個(gè)面積的比。

• 洛倫茲曲線

以壞樣本為正樣本，假設(shè)樣本總體為10,000，實(shí)際違約率為7%，即實(shí)際違約的樣本為700個(gè)。構(gòu)建評(píng)分卡模型，給出預(yù)測(cè)正樣本的概率輸出。將概率降序排列（概率越大逾期的可能性越高），然后將概率等分為10組，分別計(jì)算每組的實(shí)際違約數(shù)、占總違約數(shù)的占比，累計(jì)占比，計(jì)算結(jié)果如表所示。

壞樣本占比的計(jì)算公式為組內(nèi)實(shí)際的壞樣本數(shù)比壞樣本總數(shù)，累計(jì)占比為壞樣本占比的累加結(jié)果。將采用模型判斷得到的每組壞樣本占比與隨機(jī)判斷每組的壞樣本占比繪圖得到提升圖，如圖：

將采用模型判斷得到的每組累計(jì)壞樣本占比與隨機(jī)判斷每組的累計(jì)壞樣本占比進(jìn)行繪圖，就得到洛倫茲圖，即：

兩個(gè)不同模型的洛倫茲圖的比較如下圖所示，由于洛倫茲圖橫坐標(biāo)可以表示通過(guò)率，如以4組的虛線位置為cutoff，則1到4組作為拒絕的樣本，將5到10組作為通過(guò)的樣本，此時(shí)通過(guò)率為60%，對(duì)應(yīng)的cutoff=0.6，即模型預(yù)測(cè)概率大于等于0.6的樣本都拒絕授信，只將概率小于0.6的樣本作為準(zhǔn)入樣本。比較模型1和模型2的性能，在通過(guò)率為60%的情況下，模型1可以識(shí)別出89%的壞樣本，而模型2只能識(shí)別出79%的壞樣本。對(duì)于模型1來(lái)說(shuō)意味著只有11%的漏報(bào)率，即將11%的壞樣本作為好樣本給予授信。注意這個(gè)11%并不是壞賬率，壞賬率是所有準(zhǔn)入樣本中出現(xiàn)違約的樣本與總數(shù)的比，因此還要加上好樣本中發(fā)生違約的樣本。

從洛倫茲曲線中可以知道越接近左上坐標(biāo)軸，模型的性能越好（參考《機(jī)器學(xué)習(xí)》配套書籍），對(duì)角線（隨機(jī)判斷）的左上方的總面積就是模型可提升的全部空間，因此可用洛倫茲曲線與隨機(jī)判斷對(duì)角線圍成的面積A來(lái)量化模型的性能，如下圖所示。理想狀態(tài)A的面積等于A+B的和，此時(shí)可以完美地識(shí)別所有壞樣本；如果A的面積為0，此時(shí)為隨機(jī)判斷方法。

Gini系數(shù)

上圖中將可提升的面積與提升的極限做比值定義為基尼系數(shù)即：，因此，基尼系數(shù)的取值范圍是[ 0 , 1 ]。

令上圖中的矩形面積為1，那么A+B的面積為0.5。AUC = C+A，因此，G=2AUC-1 = (AUC-0.5)*2?；嵯禂?shù)其實(shí)是隨機(jī)從壞人中抽取一個(gè)人的分?jǐn)?shù)小于隨機(jī)從好人中抽取一個(gè)人分?jǐn)?shù)的概率。需要注意的是基尼系數(shù)和AR（Accuracy Ratio）是等價(jià)的，其計(jì)算公式都可以由2AUC-1得到。

ROC

參考上述洛倫茲曲線，以真正率TPR為縱坐標(biāo)，以假正率FPR為橫坐標(biāo)繪制的曲線就是ROC曲線，全稱為受試者工作特征（Receiver Operating Characteristic）曲線。把概率降序排列，可以將概率由1到0分成10等份，以每個(gè)概率作為cutoff切分點(diǎn)計(jì)算所有樣本的TPR和FPR，依次計(jì)算得到的值繪制為曲線即可。ROC曲線如圖：

ROC曲線中的坐標(biāo)(0,0)表示以概率為1作為cutoff（PD≥1為壞樣本）時(shí)模型的預(yù)測(cè)情況，此時(shí)模型將所有的樣本都預(yù)測(cè)為負(fù)樣本即在混淆矩陣中TP=FP=0，所以TPR=FPR=0；

坐標(biāo)(1,1)表示以概率為0作為cutoff（PD≥0為壞樣本）時(shí)模型的預(yù)測(cè)情況，此時(shí)模型將所有的樣本都預(yù)測(cè)為正樣本即在混淆矩陣中FN=TN=0，所以TPR=FPR=1。

ROC曲線的本質(zhì)反映了舍棄一定數(shù)量的好用戶可以避免多少壞用戶之間的相互關(guān)系，模型可以通過(guò)設(shè)定一個(gè)概率閾值點(diǎn)，使得大于該概率閾值的樣本均為正樣本即壞樣本，小于該概率閾值的樣本均為負(fù)樣本即好樣本。ROC曲線由A點(diǎn)經(jīng)過(guò)B點(diǎn)到達(dá)C點(diǎn)，表示在舍棄0%的好用戶的前提下，可以100%地拒絕壞用戶，即沒(méi)有壞用戶被準(zhǔn)入。而圖中的虛線表示，在舍棄50%的好用戶的前提下，可以避免50%的壞用戶，此時(shí)錯(cuò)殺了一半的好用戶，并且有一半的壞用戶沒(méi)有識(shí)別出來(lái)。

AUC

ROC曲線應(yīng)該在虛線的左上部且越靠近B點(diǎn)時(shí)模型的表現(xiàn)越好。ROC曲線的量化表示為AUC(曲線下邊的區(qū)域)（Area under the curve，簡(jiǎn)稱AUC），即ROC曲線與坐標(biāo)軸圍成的面積，面積越大表示模型的性能越好。很明顯對(duì)角線AC是一種隨機(jī)模型方法，即不加任何策略隨機(jī)判斷樣本的類別，其AUC的值為0.5。因此AUC的取值范圍為[0.5,1)，AUC的值越大越好。更常用前述基尼系數(shù)或基尼統(tǒng)計(jì)量G = 2×AUC -1。這里的基尼系數(shù)和決策樹的基尼系數(shù)是不同的，只是名稱類似不要混淆。基尼系數(shù)是AUC的歸一化形式。一般AUC大于0.75模型的效果表現(xiàn)較好，對(duì)應(yīng)G=0.5。

ROC曲線的繪制需要選擇不同的cutoff概率切分點(diǎn)以確定TPR和FPR，我們依然希望一個(gè)可量化的指標(biāo)來(lái)指導(dǎo)cutoff的優(yōu)化，這個(gè)量化指標(biāo)就是KS值，多個(gè)KS值就得到了K-S曲線。

KS值

洛倫茲曲線中在給定通過(guò)率后，只能得到模型對(duì)壞樣本的識(shí)別能力，并沒(méi)有反應(yīng)對(duì)好樣本的識(shí)別能力，K-S曲線對(duì)上述問(wèn)題做了補(bǔ)充。K-S曲線的本質(zhì)就是壞樣本的洛倫茲曲線和好樣本的洛倫茲曲線構(gòu)成的，其具體的計(jì)算過(guò)程與洛倫茲曲線一致，K-S曲線如下圖:

洛倫茲曲線逾期樣本的累積占比曲線就是TPR。不逾期樣本的累積占比曲線就是FPR。在K-S曲線中可以看出，橫坐標(biāo)的概率分組其實(shí)就是ROC曲線中給定不同的cutoff切分點(diǎn)，K-S曲線正是給出了在不同的概率分組下或者理解為不同的cutoff下模型對(duì)逾期樣本與不逾期樣本的識(shí)別能力。給出一種衡量最優(yōu)cutoff的方法—KS值，其計(jì)算方法如下：

                   KS = max|累計(jì)壞人比－累計(jì)好人比|

KS距離用雙箭頭表示，在對(duì)應(yīng)的臨界概率分組下，兩個(gè)累計(jì)分布函數(shù)的距離。

簡(jiǎn)單示例：

KS值反應(yīng)了模型對(duì)好壞樣本的區(qū)分能力，KS值越大表示對(duì)好壞樣本的區(qū)分能力越強(qiáng)，最大的KS值對(duì)應(yīng)的概率即為預(yù)測(cè)模型的最優(yōu)cutoff點(diǎn)。上圖在雙箭頭處代表的含義為：在通過(guò)率為50%(概率0.5)的情況下，模型能夠識(shí)別83%的逾期樣本，但有30%的好樣本被誤判為逾期樣本而拒絕授信，此時(shí)的KS值為53%。K-S曲線通常是在模型預(yù)測(cè)全體樣本的概率結(jié)果后，通過(guò)比較全體樣本的違約與不違約的差異值來(lái)衡量模型性能的，其量化指標(biāo)為KS值，KS值越大說(shuō)明模型對(duì)好壞樣本的區(qū)分能力越好，模型的性能越優(yōu)。但是模型KS很少能達(dá)到53%，因此需要檢驗(yàn)?zāi)Ｐ褪欠癜l(fā)生過(guò)擬合，或者數(shù)據(jù)信息泄漏。

相對(duì)于KS，AUC更加穩(wěn)健，相對(duì)于準(zhǔn)確率、召回率和F1等指標(biāo)，AUC的優(yōu)勢(shì)在于不需要設(shè)定分類閾值，只需關(guān)注預(yù)測(cè)概率的排序。

從某個(gè)角度上來(lái)講ROC曲線和KS曲線是一回事，只是橫縱坐標(biāo)的取法不同而已。以邏輯回歸為例，模型訓(xùn)練完成之后每個(gè)樣本都會(huì)得到一個(gè)類概率值（注意是類似的類），把樣本按這個(gè)類概率值排序后分成10等份，每份單獨(dú)計(jì)算它的真正率和假正率，然后計(jì)算累計(jì)概率值，用真正率和假正率的累計(jì)做為坐標(biāo)畫出來(lái)的就是ROC曲線，用10等分做為橫坐標(biāo)，用真正率和假正率的累計(jì)值分別做為縱坐標(biāo)就得到兩個(gè)曲線，這就是KS曲線。AUC值就是ROC曲線下放的面積值，而ks值就是ks曲線中兩條曲線之間的最大間隔距離。由于ks值能找出模型中差異最大的一個(gè)分段，因此適合用于cut_off，像評(píng)分卡這種就很適合用ks值來(lái)評(píng)估。但是ks值只能反映出哪個(gè)分段是區(qū)分最大的，而不能總體反映出所有分段的效果，AUC值更能勝任。

本篇介紹了幾種評(píng)估指標(biāo)，此外還有篩選變量的信息值（IV）、對(duì)比區(qū)間與整體bad_rate或不同策略效果的提升度（lift）等指標(biāo)，以后會(huì)單獨(dú)介紹。