計(jì)算機(jī)視覺教程（第3版）第04章顯著性檢測(cè)課件

第4章 顯著性檢測(cè)

顯著性是一個(gè)與主觀感知相關(guān)聯(lián)的概念，視覺顯著性常歸因于場(chǎng)景區(qū)域在底層特性方面的變化或?qū)Ρ榷鴮?dǎo)致的綜合結(jié)果

顯著性在中間語義層次上表達(dá)了圖像的特性

對(duì)于顯著性的可靠估計(jì)往往并不需要對(duì)任何實(shí)際場(chǎng)景內(nèi)容的高層理解

不同的顯著性可用其易感知性來描述

圖像中的顯著極值的有效提取對(duì)于圖像分析和處理具有重要的意義和應(yīng)用價(jià)值目錄contents4.1

顯著性概述4.2

基于對(duì)比度的檢測(cè)4.3 基于最穩(wěn)定區(qū)域的檢測(cè)4.4

顯著目標(biāo)區(qū)域提取及效果評(píng)價(jià)4.1顯著性概述

顯著性指能使一個(gè)特征、圖像點(diǎn)、圖像區(qū)域或目標(biāo)的鑒別性或相對(duì)于其環(huán)境更顯眼的量/特性顯著性的內(nèi)涵

顯著性與人對(duì)世界的關(guān)注或注意有關(guān)。關(guān)注或注意是一個(gè)心理學(xué)概念，是心理過程的一種具有共性的特征，屬于認(rèn)知過程的內(nèi)容

作為一個(gè)中層的語義線索，顯著性可幫助填補(bǔ)低層特征和高層類別間的鴻溝4.1顯著性概述(1)

高層語義特征：人在觀察中經(jīng)常注意到的對(duì)象（如人臉、汽車等）經(jīng)常對(duì)應(yīng)圖像中的顯著區(qū)域，本身具有一定的認(rèn)知語義含義(2)

認(rèn)知穩(wěn)定性：顯著區(qū)域?qū)?chǎng)景亮度、對(duì)象位置、朝向、尺度、以及觀察條件等比較魯棒(3)

全局稀缺性：從全局范圍來看，顯著區(qū)域出現(xiàn)的頻率比較低（局部、稀少），且不容易由圖像中的其他區(qū)域復(fù)合而得到(4)

局部差異性：顯著區(qū)域總是與周圍區(qū)域具有明顯的特性（顏色、邊緣、朝向）差異顯著區(qū)域的特點(diǎn)4.1顯著性概述

顯著圖反映了圖像中各部分吸引人注意的程度

顯著圖的質(zhì)量是評(píng)價(jià)顯著性檢測(cè)算法好壞的重要標(biāo)準(zhǔn)，也與顯著區(qū)域的特點(diǎn)密切關(guān)聯(lián) (1) 能突出最為顯著的物體（與人感知一致） (2) 能使整個(gè)顯著物體各部分具有比較一致的突出程度（完整提取目標(biāo)） (3) 能給出精確完整的顯著物體邊界（分離） (4) 能給出全分辨率的檢測(cè)結(jié)果（實(shí)用）顯著圖質(zhì)量的評(píng)價(jià)4.1顯著性概述

視覺注意力機(jī)制有兩個(gè)基本特征：指向性（表現(xiàn)為對(duì)出現(xiàn)在同一時(shí)段的多個(gè)刺激有選擇性）和集中性（表現(xiàn)為對(duì)干擾性刺激的抑制能力）

注意力機(jī)制主要分為兩大類：自底向上數(shù)據(jù)驅(qū)動(dòng)的預(yù)注意機(jī)制和自頂向下任務(wù)驅(qū)動(dòng)的后注意機(jī)制

用計(jì)算機(jī)來模擬人類視覺注意機(jī)制的模型稱為視覺注意力模型

一個(gè)視覺注意力模型對(duì)圖像中的顯著區(qū)域用視覺注意力（VA）圖來表示視覺注意力機(jī)制和模型4.1顯著性概述(1) 對(duì)圖像信號(hào)的處理域：空域/變換域(2) 檢測(cè)算法的流程：自底向上/自頂向下(3) 考慮計(jì)算對(duì)象：基于注視點(diǎn)/顯著區(qū)域(4) 檢測(cè)結(jié)果分辨率：像素級(jí)的方法和基于區(qū)域（包括超

像素）的方法(5) 考慮輔助信息：將檢測(cè)方法分為僅利用圖像自身信息

的內(nèi)部方法和還利用圖像“周邊”信息的外部方法(6) 顯著性與主觀感知相關(guān)聯(lián)，所以除可借助計(jì)算模型也

可考慮仿生學(xué)的方法顯著性檢測(cè)方法分類4.1顯著性概述

主要有5個(gè)模塊，輸入和輸出可有不同的形式

其他3個(gè)模塊也列出了一些常用的方法和技術(shù)基本檢測(cè)流程4.2基于對(duì)比度的檢測(cè)

計(jì)算對(duì)比度的方法主要分為3大類：

(1)

利用局部對(duì)比度先驗(yàn)知識(shí)

將每個(gè)像素僅僅與圖像局部中某些像素比較

(2)

利用全局對(duì)比度先驗(yàn)知識(shí)

將目標(biāo)像素與圖像中其余所有像素進(jìn)行特征差異度計(jì)算

(3)

利用背景先驗(yàn)知識(shí)

背景先驗(yàn)：圖像的四周對(duì)應(yīng)背景對(duì)比度檢測(cè)4.2基于對(duì)比度的檢測(cè)

基于直方圖對(duì)比度的算法

一個(gè)像素的顯著性是該像素與圖像中所有其他像素之間的顏色/灰度的對(duì)比度之和具有相同顏色/灰度的像素會(huì)具有相同的顯著性值，將對(duì)應(yīng)具有相同顏色/灰度值ci的像素Ii分在同一組基于對(duì)比度幅值對(duì)應(yīng)直方圖表達(dá)，計(jì)算快捷4.2基于對(duì)比度的檢測(cè)

基于區(qū)域?qū)Ρ榷鹊乃惴?/p>

將輸入圖像初步分成多個(gè)區(qū)域，通過計(jì)算區(qū)域?qū)Ρ榷龋≧C）獲取其顯著性值

Dc(Ri,

Rj)度量區(qū)域間在L*a*b*空間中的顏色距離

引入空間信息以調(diào)整區(qū)域權(quán)重基于對(duì)比度幅值4.2基于對(duì)比度的檢測(cè)

考慮圖像中對(duì)比度的整體分布因素

圖(a)為原始圖像，圖(b)為理想結(jié)果

以圖(c)中的標(biāo)記像素為中心，大的顯著性數(shù)值主要分布在其右下方。以圖(d)中的標(biāo)記像素為中心，大的顯著性數(shù)值則在各個(gè)方向上的分布都差不多基于對(duì)比度分布4.2基于對(duì)比度的檢測(cè)

(1)

對(duì)圖像進(jìn)行超像素分割

(2)

計(jì)算超像素的最大環(huán)繞對(duì)比度

(3)

計(jì)算相對(duì)對(duì)比度方差

(4)

將該方差數(shù)值轉(zhuǎn)換為顯著性值基于對(duì)比度分布流程4.2基于對(duì)比度的檢測(cè)

對(duì)屬于內(nèi)部的超像素區(qū)域，其各個(gè)方向的最大對(duì)比度值都比較大；而對(duì)屬于外部的超像素區(qū)域，其各個(gè)方向的最大對(duì)比度值有比較大的差別對(duì)比度分布計(jì)算4.2基于對(duì)比度的檢測(cè)

屬于顯著物體內(nèi)部的超像素區(qū)域的相對(duì)標(biāo)準(zhǔn)方差（RSD）比屬于顯著物體外部的超像素區(qū)域的相對(duì)標(biāo)準(zhǔn)方差小（顯著性與相對(duì)標(biāo)準(zhǔn)方差成反比）顯著性圖相對(duì)標(biāo)準(zhǔn)方差顯著性圖后處理結(jié)果真值4.2基于對(duì)比度的檢測(cè)

將目標(biāo)像素i看作視場(chǎng)中心，則整幅圖像可相對(duì)于i的位置被劃分成若干個(gè)區(qū)域（左上、右上、左下、右上）最小方向?qū)Ρ榷雀鞣较蚨急容^大有的方向比較小4.2基于對(duì)比度的檢測(cè)

來自各個(gè)區(qū)域的方向?qū)Ρ榷龋―C）

前景與背景像素的方向?qū)Ρ榷确植己懿灰粯?/p>

用最小方向?qū)Ρ榷龋∕DC），即所有方向中對(duì)比度最小的DC值，作為初始的顯著性的度量值：最小方向?qū)Ρ榷?.2基于對(duì)比度的檢測(cè)

為了降低計(jì)算復(fù)雜度，對(duì)顏色進(jìn)行量化

簡單的顏色量化，可能會(huì)導(dǎo)致兩種相似的顏色量化到兩種取值，進(jìn)而得到的顯著性在視覺上不連續(xù)。借助邊界連通性的平滑來消除這種問題顯著性平滑平滑結(jié)果初始度量4.2基于對(duì)比度的檢測(cè)

增加前景和背景區(qū)域之間的對(duì)比度

使用基于標(biāo)記的分水嶺算法增強(qiáng)顯著性

前景像素為紅色、背景像素為綠色顯著性增強(qiáng)最終標(biāo)記區(qū)域初始標(biāo)記區(qū)域平滑結(jié)果真值4.3基于最穩(wěn)定區(qū)域的檢測(cè)

在復(fù)雜背景下，基于（逐個(gè)）像素或者超像素低層特征的方法很難獲得魯棒的顯著性結(jié)果區(qū)域顯著性4.3基于最穩(wěn)定區(qū)域的檢測(cè)

從目標(biāo)種子出發(fā)，用區(qū)域生長策略會(huì)產(chǎn)生一系列（嵌套的）周圍區(qū)域，最可能的目標(biāo)區(qū)域可根據(jù)下面3個(gè)因素決定： (1) 這個(gè)區(qū)域與其外部周邊區(qū)域之間是否

有很高的對(duì)比度 (2) 這個(gè)區(qū)域內(nèi)部是否只有很低的對(duì)比度

（即很平滑） (3) 這個(gè)區(qū)域的面積不能太小，否則噪聲

影響過大最穩(wěn)定區(qū)域4.3基于最穩(wěn)定區(qū)域的檢測(cè)6個(gè)得分：1.04，4.65、19.25、21.94、20.6、0.0最穩(wěn)定區(qū)域4.3基于最穩(wěn)定區(qū)域的檢測(cè)邊界連通性

一個(gè)圖像中區(qū)域和整幅圖像邊界重疊的長度與該區(qū)域面積的平方根的比值。這個(gè)比值可以衡量給定圖像區(qū)域?qū)儆诒尘暗目赡苄?/p>

兩種先驗(yàn)結(jié)合：邊界先驗(yàn)認(rèn)為圖像的邊界大部分對(duì)應(yīng)背景區(qū)域，連通性先驗(yàn)認(rèn)為背景區(qū)域（比前景區(qū)域）更多地與圖像的邊界連在一起顯著性計(jì)算4.3基于最穩(wěn)定區(qū)域的檢測(cè)顏色空間分布

表示某個(gè)特定區(qū)域顏色在圖像中其他地方出現(xiàn)的可能性

實(shí)際中，背景區(qū)域顏色常分布在整幅圖像上，即在空間分布上方差很高；而前景區(qū)域顏色常分布比較緊湊，在空間分布上方差較小。在空間上分布較緊湊的區(qū)域顏色將會(huì)比在空間上分布較廣泛的區(qū)域顏色更顯著顯著性計(jì)算4.3基于最穩(wěn)定區(qū)域的檢測(cè)顯著性計(jì)算僅使用邊界連通性僅使用顏色空間分布結(jié)合兩個(gè)指標(biāo)4.4顯著目標(biāo)區(qū)域提取及效果評(píng)價(jià)(1)

直接閾值分割(2)

基于交互圖像分割(3)

結(jié)合矩形窗定位(1)

顯著圖計(jì)算(2)

初始顯著區(qū)域定位(3)

精細(xì)顯著區(qū)域提取顯著目標(biāo)區(qū)域提取不同提取框架提取主要步驟4.4顯著目標(biāo)區(qū)域提取及效果評(píng)價(jià)顯著目標(biāo)區(qū)域效果評(píng)價(jià)4.4顯著目標(biāo)區(qū)域提取及效果評(píng)價(jià)評(píng)價(jià)指標(biāo)(1)

查準(zhǔn)率（精確度/精確性）：P=|TP|/(|TP|+|FP|)(2)

查全率（召回率）：R=|TP|/(|