第8章-混淆矩陣

MACHINELEARNING機(jī)器學(xué)習(xí)第8章混淆矩陣假設(shè)有一個(gè)算法，其預(yù)測(cè)某種癌癥的準(zhǔn)確率為99.9%。這個(gè)算法好嗎？99.9%的準(zhǔn)確率看上去很高，但是如果這種癌癥本身的發(fā)病率只有0.1%，即使不訓(xùn)練模型而直接預(yù)測(cè)所有人都是健康人，這樣的預(yù)測(cè)的準(zhǔn)確率也能達(dá)到99.9%。更極端的情況，如果這種癌癥本身的發(fā)病率只有0.01%，這算法預(yù)測(cè)的準(zhǔn)確率還不如直接預(yù)測(cè)所有人都健康。

對(duì)于極度偏斜的數(shù)據(jù)(癌癥患者的人數(shù)和健康人數(shù)量差別特別大)（skeweddata），用準(zhǔn)確率評(píng)價(jià)分類算法好壞有局限性。8.混淆矩陣混淆矩陣ConfusionMatrix第8章混淆矩陣0-Negative-陰性,1-Positive-陽(yáng)性行代表真實(shí)值，列代表預(yù)測(cè)試值8.混淆矩陣二分類應(yīng)用混淆矩陣第8章混淆矩陣10000條數(shù)據(jù)，沒患癌癥預(yù)測(cè)正確9978人；患癌癥預(yù)測(cè)正確8人；預(yù)測(cè)錯(cuò)誤分別為12和2人8.混淆矩陣二分類應(yīng)用混淆矩陣第8章混淆矩陣8.混淆矩陣二分類應(yīng)用混淆矩陣精確率和召回率精準(zhǔn)率precision=TP/(TP+FP)預(yù)測(cè)的關(guān)注事件（1）中預(yù)測(cè)對(duì)了的概率Precision=8/(8+12)=0.4召回率recall=TP/(TP+FN)在已經(jīng)發(fā)生的事件中正確預(yù)測(cè)個(gè)數(shù)的比率Recall=8/(8+2)=0.8對(duì)于極度偏斜的數(shù)據(jù)，使用指標(biāo)精準(zhǔn)率和召回率都優(yōu)于使用指標(biāo)分類準(zhǔn)確度。第8章混淆矩陣8.混淆矩陣使用混淆矩陣的好處回到之前列舉的癌癥預(yù)測(cè)案例,如果某種癌癥的發(fā)病率為0.1%，那么預(yù)測(cè)所有人都健康的模型，雖然準(zhǔn)確率達(dá)到99.9%。但精準(zhǔn)率沒有意義，召回率為0，可見這個(gè)模型是個(gè)無效的模型，所以混淆矩陣可以作為極度偏斜的數(shù)據(jù)的評(píng)價(jià)指標(biāo)。第8章混淆矩陣8.混淆矩陣F1Score精準(zhǔn)率和召回率是兩個(gè)指標(biāo)，如果一個(gè)算法的精準(zhǔn)率和召回率表現(xiàn)不同，該如何取舍這兩個(gè)指標(biāo)？解決方法1：視具體場(chǎng)景而定，有時(shí)我們注重精準(zhǔn)率，比如股票預(yù)測(cè)，我們希望預(yù)測(cè)股票為升結(jié)果都是準(zhǔn)確的（否則可能虧錢），而不在意，錯(cuò)過另一些股票上升的機(jī)會(huì)（錯(cuò)過一些賺錢的機(jī)會(huì)）。有時(shí)我們注重召回率，比如病人診斷。我們希望得病的人都能識(shí)別出來（否則這些人可能會(huì)病情惡化），而有一些沒得病的人被錯(cuò)誤地識(shí)別出來沒有關(guān)系（這些人做進(jìn)一步檢查即可）。解決方法2：同時(shí)關(guān)注精準(zhǔn)率和召回率，指標(biāo)F1score第8章混淆矩陣8.混淆矩陣F1ScoreF1score是precision和recall的調(diào)和平均值。

調(diào)和平均值的特點(diǎn)：如果precision和recall非常不平衡，則F1score也是比較低的。只有兩者都高，F(xiàn)1score才會(huì)高。F1score的取值范圍：[0,1]第8章混淆矩陣8.混淆矩陣Precision-Recall平衡我們總是希望精準(zhǔn)率和召回率這兩個(gè)指標(biāo)都盡可能地高。但事實(shí)上精準(zhǔn)率和召回率是互相矛盾的，我們只能在其中找到一個(gè)平衡。以邏輯回歸為例來說明精準(zhǔn)率和召回率之間的矛盾關(guān)系，邏輯回歸的公式如下：在這里決策邊界是以0為分界點(diǎn)，如果把0改成一個(gè)自定義的threshold（閾值），threshold的改變會(huì)平移決策邊界，從而影響精準(zhǔn)率和召回率的結(jié)果。

第8章混淆矩陣8.混淆矩陣Precision-Recall平衡Threshold

（[?θre?h??ld]閾值）是怎樣影響精準(zhǔn)率和召回率的圖中的豎線代表決策邊界，決策邊界右邊的樣本分類為1，決策邊界左邊的樣本分類為0。圖中五角星為實(shí)際類別為1的樣本，0為實(shí)際類別為0的樣本。如果以0為分