檢測(cè)錯(cuò)誤和ROC曲線(xiàn)課件

檢測(cè)錯(cuò)誤與ROC曲線(xiàn)《信息隱藏實(shí)驗(yàn)教程》教學(xué)幻燈片十八檢測(cè)錯(cuò)誤與ROC曲線(xiàn)《信息隱藏實(shí)驗(yàn)教程》教學(xué)1檢測(cè)錯(cuò)誤

在檢測(cè)水印時(shí)，存在著兩類(lèi)錯(cuò)誤：第一類(lèi)錯(cuò)誤（FalsePositive）

第二類(lèi)錯(cuò)誤（TruePositive）

檢測(cè)錯(cuò)誤在檢測(cè)水印時(shí)，存在著兩類(lèi)錯(cuò)誤：2第一類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在沒(méi)有嵌入水印的接收?qǐng)D像中檢測(cè)到了水印，也就是說(shuō)水印檢測(cè)器輸出的相關(guān)性值大于給定的閾值。由于檢測(cè)器錯(cuò)誤的發(fā)出報(bào)警，因此這類(lèi)錯(cuò)誤也被稱(chēng)為虛警錯(cuò)誤。

第一類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在沒(méi)有嵌入水印的接收?qǐng)D像中檢測(cè)到3第二類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在有嵌入水印的接收?qǐng)D像中沒(méi)有檢測(cè)到水印，也就是說(shuō)水印檢測(cè)器的輸出的相關(guān)性值小于給定的閾值。在這種情況下，檢測(cè)器應(yīng)該但沒(méi)有報(bào)警，因此這類(lèi)錯(cuò)誤也被稱(chēng)為漏警錯(cuò)誤。

第二類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在有嵌入水印的接收?qǐng)D像中沒(méi)有檢測(cè)4檢測(cè)錯(cuò)誤的直觀(guān)表示下圖可以直觀(guān)的看出這兩類(lèi)錯(cuò)誤產(chǎn)生的情況，圖中的陰影部分表示的是發(fā)生第一類(lèi)錯(cuò)誤的概率：檢測(cè)錯(cuò)誤的直觀(guān)表示下圖可以直觀(guān)的看出這兩類(lèi)錯(cuò)誤產(chǎn)生的情5檢測(cè)錯(cuò)誤的直觀(guān)表示檢測(cè)錯(cuò)誤的直觀(guān)表示6ROC曲線(xiàn)的引入為了進(jìn)一步了解和分析兩類(lèi)錯(cuò)誤，我們引進(jìn)利用ROC(ReceiverOperatingCharacteristic)曲線(xiàn)的ROC分析法來(lái)說(shuō)明它。ROC曲線(xiàn)是關(guān)于檢測(cè)閾值的函數(shù)曲線(xiàn)。它直觀(guān)反映了水印檢測(cè)的靈敏度和特異性以及兩類(lèi)錯(cuò)誤率之間的關(guān)系。

ROC曲線(xiàn)的引入為了進(jìn)一步了解和分析兩類(lèi)錯(cuò)誤，我們引進(jìn)7ROC曲線(xiàn)的引入ROC曲線(xiàn)縱坐標(biāo)定義為T(mén)PR(TruePositiveRatio),我們也稱(chēng)之為靈敏度（sensitivity），用公式表示為：式中的TP表示正確接受測(cè)試結(jié)果的次數(shù)，也就是在嵌有水印的接收?qǐng)D像中檢測(cè)到水印的次數(shù)，F(xiàn)N表示錯(cuò)誤拒絕的測(cè)試結(jié)果的次數(shù)，也就是在嵌有水印的接收?qǐng)D像中沒(méi)有檢測(cè)到水印的次數(shù)。ROC曲線(xiàn)的引入ROC曲線(xiàn)縱坐標(biāo)定義為T(mén)PR(True8ROC曲線(xiàn)的引入ROC曲線(xiàn)橫坐標(biāo)定義為FPR(FalsePositiveRatio)，它與特異性（specificity，TNR）是互補(bǔ)的關(guān)系，即FPR=1—特異性。式中的FP表示錯(cuò)誤報(bào)警測(cè)試結(jié)果的次數(shù)，即在沒(méi)有嵌入水印的接收?qǐng)D像中檢測(cè)到水印的次數(shù)，TN表示正確拒絕測(cè)試結(jié)果的次數(shù)，即在沒(méi)有嵌入水印的接收?qǐng)D像中沒(méi)有檢測(cè)到水印的次數(shù)。

ROC曲線(xiàn)的引入ROC曲線(xiàn)橫坐標(biāo)定義為FPR(Fals9ROC曲線(xiàn)的含義

ROC曲線(xiàn)的含義10ROC曲線(xiàn)的含義ROC曲線(xiàn)越向左上偏，曲線(xiàn)下的面積越大，其性能就越好。上圖上半部分所示的是4種類(lèi)型檢測(cè)的加有水印的圖像和沒(méi)有加水印的圖像的分布。圖的下半部分是上半部分對(duì)應(yīng)的ROC曲線(xiàn)，我們可以明顯的看出，b實(shí)驗(yàn)的曲線(xiàn)最為理想。

ROC曲線(xiàn)的含義ROC曲線(xiàn)越向左上偏，曲線(xiàn)下的面積越大11繪制ROC曲線(xiàn)實(shí)例在標(biāo)準(zhǔn)圖像庫(kù)中我們選取如下所示的五幅JPEG圖像，其大小均為256×256。我們將使用它們來(lái)生成實(shí)驗(yàn)的樣本空間。繪制ROC曲線(xiàn)實(shí)例在標(biāo)準(zhǔn)圖像庫(kù)中我們選取如下所示的五幅J12繪制ROC曲線(xiàn)實(shí)例繪制ROC曲線(xiàn)實(shí)例13繪制ROC曲線(xiàn)實(shí)例繪制ROC曲線(xiàn)實(shí)例14繪制ROC曲線(xiàn)實(shí)例檢測(cè)的樣本空間由以下幾個(gè)方面構(gòu)成：5幅原始圖像；每幅原始圖像做以10%壓縮率為間隔的9幅JPEG壓縮圖像，這一共得到45幅圖像；對(duì)每幅原始圖像各自加入10個(gè)不同種子的水印，得到50幅加有水印的圖像；再分別對(duì)5幅圖像加入水印，并進(jìn)行如前面的壓縮，得到45幅經(jīng)過(guò)不同程度壓縮的嵌有水印的圖像和5幅嵌入水印但沒(méi)有壓縮的圖像。這樣共有100幅加有水印的圖像（不管有沒(méi)有壓縮），以此作為后面檢測(cè)漏警錯(cuò)誤的樣本空間。50幅沒(méi)有加入水印的圖像，作為檢測(cè)虛警錯(cuò)誤的樣本空間。

繪制ROC曲線(xiàn)實(shí)例檢測(cè)的樣本空間由以下幾個(gè)方面構(gòu)成：15繪制ROC曲線(xiàn)實(shí)例以某一個(gè)檢測(cè)閾值（例如0.05）檢測(cè)一幅圖像，結(jié)果有四種組合：圖像加有水印并被檢測(cè)出來(lái)（TP）、圖像加有水印沒(méi)有被檢測(cè)出來(lái)（FN）、圖像沒(méi)有加水印檢測(cè)結(jié)果也無(wú)水印（TN）、圖像沒(méi)有加水印但檢測(cè)出水印（FP）。

繪制ROC曲線(xiàn)實(shí)例以某一個(gè)檢測(cè)閾值（例如0.05）檢測(cè)16繪制ROC曲線(xiàn)實(shí)例下面分別是常規(guī)檢測(cè)器和DCT檢測(cè)器檢測(cè)的結(jié)果：

繪制ROC曲線(xiàn)實(shí)例下面分別是常規(guī)檢測(cè)器和DCT檢測(cè)器檢測(cè)17繪制ROC曲線(xiàn)實(shí)例閾值

水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（TP）

水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（FN

）無(wú)水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（FP）

無(wú)水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.019824460.980.12繪制ROC曲線(xiàn)實(shí)例閾值水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（18繪制ROC曲線(xiàn)實(shí)例0.02891138120.890.240.03851525250.850.50.04851519310.850.620.05841618320.840.640.06831712380.830.76繪制ROC曲線(xiàn)實(shí)例0.028911381219繪制ROC曲線(xiàn)實(shí)例0.0881196440.810.880.180200500.8010.1576240500.7610.270300500.7010.2568320500.681繪制ROC曲線(xiàn)實(shí)例0.08811964420繪制ROC曲線(xiàn)實(shí)例0.362380500.6210.458420500.5810.554460500.5410.653470500.5310.752480500.521繪制ROC曲線(xiàn)實(shí)例0.36238050021繪制ROC曲線(xiàn)實(shí)例閾值

水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（TP）

水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（FN）

無(wú)水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（FP）

無(wú)水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.029644370.960.140.0493736140.930.28繪制ROC曲線(xiàn)實(shí)例閾值水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（T22繪制ROC曲線(xiàn)實(shí)例0.06901030200.900.400.08881226240.880.480.1861418320.860.640830.740.281195450.810.90繪制ROC曲線(xiàn)實(shí)例0.069010302023繪制ROC曲線(xiàn)實(shí)例0.2578223470.780.940.375250500.7510.3571290500.7110.469310500.6910.564360500.641繪制ROC曲線(xiàn)實(shí)例0.25782234724繪制ROC曲線(xiàn)實(shí)例0.658420500.5810.756440500.5610.853470500.531繪制ROC曲線(xiàn)實(shí)例0.65842050025ROC曲線(xiàn)

根據(jù)上表繪制的ROC曲線(xiàn)：

ROC曲線(xiàn)根據(jù)上表繪制的ROC曲線(xiàn)：26謝謝謝謝27檢測(cè)錯(cuò)誤與ROC曲線(xiàn)《信息隱藏實(shí)驗(yàn)教程》教學(xué)幻燈片十八檢測(cè)錯(cuò)誤與ROC曲線(xiàn)《信息隱藏實(shí)驗(yàn)教程》教學(xué)28檢測(cè)錯(cuò)誤

在檢測(cè)水印時(shí)，存在著兩類(lèi)錯(cuò)誤：第一類(lèi)錯(cuò)誤（FalsePositive）

第二類(lèi)錯(cuò)誤（TruePositive）

檢測(cè)錯(cuò)誤在檢測(cè)水印時(shí)，存在著兩類(lèi)錯(cuò)誤：29第一類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在沒(méi)有嵌入水印的接收?qǐng)D像中檢測(cè)到了水印，也就是說(shuō)水印檢測(cè)器輸出的相關(guān)性值大于給定的閾值。由于檢測(cè)器錯(cuò)誤的發(fā)出報(bào)警，因此這類(lèi)錯(cuò)誤也被稱(chēng)為虛警錯(cuò)誤。

第一類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在沒(méi)有嵌入水印的接收?qǐng)D像中檢測(cè)到30第二類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在有嵌入水印的接收?qǐng)D像中沒(méi)有檢測(cè)到水印，也就是說(shuō)水印檢測(cè)器的輸出的相關(guān)性值小于給定的閾值。在這種情況下，檢測(cè)器應(yīng)該但沒(méi)有報(bào)警，因此這類(lèi)錯(cuò)誤也被稱(chēng)為漏警錯(cuò)誤。

第二類(lèi)錯(cuò)誤該類(lèi)錯(cuò)誤是指在有嵌入水印的接收?qǐng)D像中沒(méi)有檢測(cè)31檢測(cè)錯(cuò)誤的直觀(guān)表示下圖可以直觀(guān)的看出這兩類(lèi)錯(cuò)誤產(chǎn)生的情況，圖中的陰影部分表示的是發(fā)生第一類(lèi)錯(cuò)誤的概率：檢測(cè)錯(cuò)誤的直觀(guān)表示下圖可以直觀(guān)的看出這兩類(lèi)錯(cuò)誤產(chǎn)生的情32檢測(cè)錯(cuò)誤的直觀(guān)表示檢測(cè)錯(cuò)誤的直觀(guān)表示33ROC曲線(xiàn)的引入為了進(jìn)一步了解和分析兩類(lèi)錯(cuò)誤，我們引進(jìn)利用ROC(ReceiverOperatingCharacteristic)曲線(xiàn)的ROC分析法來(lái)說(shuō)明它。ROC曲線(xiàn)是關(guān)于檢測(cè)閾值的函數(shù)曲線(xiàn)。它直觀(guān)反映了水印檢測(cè)的靈敏度和特異性以及兩類(lèi)錯(cuò)誤率之間的關(guān)系。

ROC曲線(xiàn)的引入為了進(jìn)一步了解和分析兩類(lèi)錯(cuò)誤，我們引進(jìn)34ROC曲線(xiàn)的引入ROC曲線(xiàn)縱坐標(biāo)定義為T(mén)PR(TruePositiveRatio),我們也稱(chēng)之為靈敏度（sensitivity），用公式表示為：式中的TP表示正確接受測(cè)試結(jié)果的次數(shù)，也就是在嵌有水印的接收?qǐng)D像中檢測(cè)到水印的次數(shù)，F(xiàn)N表示錯(cuò)誤拒絕的測(cè)試結(jié)果的次數(shù)，也就是在嵌有水印的接收?qǐng)D像中沒(méi)有檢測(cè)到水印的次數(shù)。ROC曲線(xiàn)的引入ROC曲線(xiàn)縱坐標(biāo)定義為T(mén)PR(True35ROC曲線(xiàn)的引入ROC曲線(xiàn)橫坐標(biāo)定義為FPR(FalsePositiveRatio)，它與特異性（specificity，TNR）是互補(bǔ)的關(guān)系，即FPR=1—特異性。式中的FP表示錯(cuò)誤報(bào)警測(cè)試結(jié)果的次數(shù)，即在沒(méi)有嵌入水印的接收?qǐng)D像中檢測(cè)到水印的次數(shù)，TN表示正確拒絕測(cè)試結(jié)果的次數(shù)，即在沒(méi)有嵌入水印的接收?qǐng)D像中沒(méi)有檢測(cè)到水印的次數(shù)。

ROC曲線(xiàn)的引入ROC曲線(xiàn)橫坐標(biāo)定義為FPR(Fals36ROC曲線(xiàn)的含義

ROC曲線(xiàn)的含義37ROC曲線(xiàn)的含義ROC曲線(xiàn)越向左上偏，曲線(xiàn)下的面積越大，其性能就越好。上圖上半部分所示的是4種類(lèi)型檢測(cè)的加有水印的圖像和沒(méi)有加水印的圖像的分布。圖的下半部分是上半部分對(duì)應(yīng)的ROC曲線(xiàn)，我們可以明顯的看出，b實(shí)驗(yàn)的曲線(xiàn)最為理想。

ROC曲線(xiàn)的含義ROC曲線(xiàn)越向左上偏，曲線(xiàn)下的面積越大38繪制ROC曲線(xiàn)實(shí)例在標(biāo)準(zhǔn)圖像庫(kù)中我們選取如下所示的五幅JPEG圖像，其大小均為256×256。我們將使用它們來(lái)生成實(shí)驗(yàn)的樣本空間。繪制ROC曲線(xiàn)實(shí)例在標(biāo)準(zhǔn)圖像庫(kù)中我們選取如下所示的五幅J39繪制ROC曲線(xiàn)實(shí)例繪制ROC曲線(xiàn)實(shí)例40繪制ROC曲線(xiàn)實(shí)例繪制ROC曲線(xiàn)實(shí)例41繪制ROC曲線(xiàn)實(shí)例檢測(cè)的樣本空間由以下幾個(gè)方面構(gòu)成：5幅原始圖像；每幅原始圖像做以10%壓縮率為間隔的9幅JPEG壓縮圖像，這一共得到45幅圖像；對(duì)每幅原始圖像各自加入10個(gè)不同種子的水印，得到50幅加有水印的圖像；再分別對(duì)5幅圖像加入水印，并進(jìn)行如前面的壓縮，得到45幅經(jīng)過(guò)不同程度壓縮的嵌有水印的圖像和5幅嵌入水印但沒(méi)有壓縮的圖像。這樣共有100幅加有水印的圖像（不管有沒(méi)有壓縮），以此作為后面檢測(cè)漏警錯(cuò)誤的樣本空間。50幅沒(méi)有加入水印的圖像，作為檢測(cè)虛警錯(cuò)誤的樣本空間。

繪制ROC曲線(xiàn)實(shí)例檢測(cè)的樣本空間由以下幾個(gè)方面構(gòu)成：42繪制ROC曲線(xiàn)實(shí)例以某一個(gè)檢測(cè)閾值（例如0.05）檢測(cè)一幅圖像，結(jié)果有四種組合：圖像加有水印并被檢測(cè)出來(lái)（TP）、圖像加有水印沒(méi)有被檢測(cè)出來(lái)（FN）、圖像沒(méi)有加水印檢測(cè)結(jié)果也無(wú)水印（TN）、圖像沒(méi)有加水印但檢測(cè)出水印（FP）。

繪制ROC曲線(xiàn)實(shí)例以某一個(gè)檢測(cè)閾值（例如0.05）檢測(cè)43繪制ROC曲線(xiàn)實(shí)例下面分別是常規(guī)檢測(cè)器和DCT檢測(cè)器檢測(cè)的結(jié)果：

繪制ROC曲線(xiàn)實(shí)例下面分別是常規(guī)檢測(cè)器和DCT檢測(cè)器檢測(cè)44繪制ROC曲線(xiàn)實(shí)例閾值

水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（TP）

水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（FN

）無(wú)水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（FP）

無(wú)水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.019824460.980.12繪制ROC曲線(xiàn)實(shí)例閾值水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（45繪制ROC曲線(xiàn)實(shí)例0.02891138120.890.240.03851525250.850.50.04851519310.850.620.05841618320.840.640.06831712380.830.76繪制ROC曲線(xiàn)實(shí)例0.028911381246繪制ROC曲線(xiàn)實(shí)例0.0881196440.810.880.180200500.8010.1576240500.7610.270300500.7010.2568320500.681繪制ROC曲線(xiàn)實(shí)例0.08811964447繪制ROC曲線(xiàn)實(shí)例0.362380500.6210.458420500.5810.554460500.5410.653470500.5310.752480500.521繪制ROC曲線(xiàn)實(shí)例0.36238050048繪制ROC曲線(xiàn)實(shí)例閾值

水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（TP）

水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（FN）

無(wú)水印圖像中檢測(cè)到水印的累計(jì)數(shù)目（FP）

無(wú)水印圖像中沒(méi)有檢測(cè)到水印的累計(jì)數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.02