基于poselet的對(duì)象分割算法

1、利用圖像輪廓對(duì)poselet活化的校準(zhǔn)進(jìn)行對(duì)象分割作者：Thomas Brox，Lubomir Bourdev，Subhransu Maji，Jitendra Malik德國(guó)弗萊堡大學(xué)，加州大學(xué)伯克利分校摘要：這篇論文中，我們提出一種技術(shù)去利用兩種互補(bǔ)的自底向上的特征，圖像的邊緣和紋理塊，以期使自頂向下的對(duì)象分割達(dá)到更高的精度。我們的工作建立在基于局部的poselet檢測(cè)器上，它可以預(yù)測(cè)一個(gè)物體的很多部分的masks.為了這個(gè)目標(biāo)，我們將poselet種類(lèi)（除人以外）額外增加了19種。我們非嚴(yán)格地匹配這些“部分檢測(cè)結(jié)果”和圖像中潛在的物體輪廓，增加了預(yù)測(cè)對(duì)象的mask的精度，并且分出了誤報(bào)（錯(cuò)

2、誤的正信息）。我們?cè)诳臻g上聚集對(duì)象信息通過(guò)一個(gè)變量化的平滑技術(shù)，確保物體區(qū)域不會(huì)重疊。最后，我們意圖去改善定義在小圖像塊上的基于自相似度的分割。我們獲得了具有競(jìng)爭(zhēng)性的結(jié)果，在具有難度的pascal voc 標(biāo)準(zhǔn)檢查程序上。在四個(gè)類(lèi)上我們獲得了目前為止最好的結(jié)果。1.介紹隨著對(duì)象分割技術(shù)的成熟，人們有著越來(lái)越大的興趣對(duì)于超出邊界框的精確的對(duì)象定位。對(duì)象分割提供了這方面的方法。盡管在一般的靜態(tài)圖片中從對(duì)象層次上進(jìn)行自底向上分割是一個(gè)病態(tài)問(wèn)題，不過(guò)在結(jié)合了對(duì)象檢測(cè)器之后成為一個(gè)可解問(wèn)題。在這篇論文中，我們?cè)趯?duì)怎么樣結(jié)合自底向上的線索（就像傳統(tǒng)的圖像分割上的應(yīng)用一樣）和自頂向下的信息（從同時(shí)期的對(duì)象探

3、測(cè)器中獲得）方面做出了貢獻(xiàn)。這方面的早期的工作見(jiàn)【4,13】。我們認(rèn)為擁有豐富局部結(jié)構(gòu)（信息）的對(duì)象探測(cè)器，比如最近的基于poselet的探測(cè)器【5】，為自頂向下的分割提供了一個(gè)非常好的基礎(chǔ)。特別的，poselets可以很好地處理遮擋并且適用于多重，部分封閉的物體的復(fù)雜分割（不需要明確的深度推理）。檢測(cè)器信息需要與自底向上線索結(jié)合使用。對(duì)象檢測(cè)器可以粗略地標(biāo)記出在什么地方某個(gè)類(lèi)的一個(gè)對(duì)象可能會(huì)出現(xiàn)，但它們?nèi)鄙贉?zhǔn)確地定位物體的能力。這主要是因?yàn)闄z測(cè)器需要概括對(duì)象實(shí)例，這將導(dǎo)致精確的圖像信息的丟失。這些丟失的在探測(cè)的物體實(shí)例上的，精確的形狀信息，必須被恢復(fù)，通過(guò)圖像本身。在此文中，我們提出兩種互補(bǔ)

4、的方法在測(cè)試圖像中采集信息：圖像邊緣和自相似。為什么由探測(cè)器得到的形狀預(yù)測(cè)是不精確的，這里有兩個(gè)主要的原因：（1）因?yàn)閽呙璐翱诜椒ǖ男试?，同一時(shí)期的探測(cè)器在一個(gè)二次抽樣的網(wǎng)格上工作。因此，每個(gè)探測(cè)可能與實(shí)際的物體位置有幾個(gè)像素的偏移。（2）由于在多對(duì)象實(shí)例和關(guān)節(jié)中平均，這個(gè)檢測(cè)器只能模擬一個(gè)粗略的形狀,不能預(yù)測(cè)即將到來(lái)的對(duì)象實(shí)例的特定形狀。非參數(shù)形狀模型沒(méi)有這樣的一個(gè)缺陷，但是太貴了,目前不使用。因此,形狀的變形和很小的細(xì)節(jié)不能被預(yù)測(cè)。在此文中，我們建議通過(guò)非嚴(yán)格地匹配每個(gè)poselet激活和圖像中相應(yīng)的邊緣結(jié)構(gòu)來(lái)解決平移和變形問(wèn)題。這擴(kuò)展了【5】中的調(diào)整策略，在【5】中整個(gè)對(duì)象被調(diào)整到圖

5、像中。通過(guò)獨(dú)立地調(diào)整每個(gè)活化，我們可以允許更大的局部變形并且更好地處理遮擋和清晰度。由于這種調(diào)整只會(huì)使輪廓發(fā)生平移和變形，它不能再生對(duì)象區(qū)域的洞或明顯的凹面。如在圖1中的馬腿。為了恢復(fù)這種圖形細(xì)節(jié)，我們提出一個(gè)過(guò)程,可以翻轉(zhuǎn)superpixels的標(biāo)記, 基于圖像塊的相似度。圖1.左邊：Pascal VOC中的圖片右邊：多對(duì)象語(yǔ)義分割，一個(gè)人（輕粉紅色）和一匹馬（品紅色）最后，在多類(lèi)分割中，我們不得不處理多種對(duì)象為占有一個(gè)像素的競(jìng)爭(zhēng)。我們提出了從人的poselets檢測(cè)延伸到其他類(lèi)別的檢測(cè)，還有一個(gè)過(guò)程建立在檢測(cè)分?jǐn)?shù)上。這分?jǐn)?shù)是poselet 激活和他們?cè)趫D像區(qū)域的空間分布。這個(gè)過(guò)程決定出哪個(gè)

6、對(duì)象部分在前景中，它也整理出許多假陽(yáng)性檢測(cè)。我們展示出可觀的結(jié)果，在具有難度的Pascal VOC 2010標(biāo)準(zhǔn)檢測(cè)程序上，這表現(xiàn)在數(shù)量上和外表上的良好的分割效果。2 相關(guān)的研究形狀先驗(yàn)在圖像分割領(lǐng)域已經(jīng)變得流行，他們基于Leventon et al. 15和Cremers et al. 8, 9.的研究工作。特別是Cremers et al. 在形狀的豐富的統(tǒng)計(jì)建模上付出了很多努力。然而這些方法中的統(tǒng)計(jì)形狀模型都非常復(fù)雜，他們假定物體的類(lèi)別和粗略的姿勢(shì)，和它的存在一樣都是已知的。這是個(gè)很強(qiáng)假定條件，除了特定的醫(yī)學(xué)應(yīng)用，實(shí)踐中很難滿(mǎn)足這一要求。在Leibe 和Schiele14，特定物體的塊的

7、探測(cè)表明一個(gè)對(duì)象類(lèi)別的局部存在，并且他的形狀是來(lái)源于聚集這些塊的掩模。形狀的變化完全由塊的聚集來(lái)模型化的。從測(cè)試圖像得到的證據(jù)只用于探測(cè)不用于分割。········· 自動(dòng)檢測(cè)· 漢->英· 漢->日· 漢->韓· 漢->法· 英->漢· 日->漢· 韓->漢· 法->漢大多數(shù)與我們的工作相關(guān)的研究見(jiàn)19.建立在Felzenszwalb et al10的強(qiáng)基于塊的探測(cè)器上，他們通

8、過(guò)使用顏色和關(guān)于對(duì)象的深度排序的推理，進(jìn)而改進(jìn)了探測(cè)器的形狀預(yù)測(cè),另一個(gè)相關(guān)的工作是基于紋理的語(yǔ)義分割，在其中，一個(gè)紋理分類(lèi)器與CRF模型相結(jié)合來(lái)分配像素標(biāo)記給數(shù)目受限的類(lèi)18, 17。盡管這些方法在背景類(lèi)別上表現(xiàn)的很好，比如說(shuō)天空，水，建筑物，樹(shù)等，但它們對(duì)實(shí)際對(duì)象的表現(xiàn)就通常很差了，(表2中Oxford Brookes)。當(dāng)和圖像分類(lèi)結(jié)合起來(lái)時(shí)，這個(gè)方法就很成功了11。最后，【16】采用了一種策略，它會(huì)產(chǎn)生非常大的數(shù)目的對(duì)象區(qū)域的假定。在這些利用了一套顏色、紋理和形狀特征的分割的基礎(chǔ)上，接著去做分類(lèi)。12中的方法在主旨上與此相似,但注意集中在一個(gè)復(fù)雜的圖形化模型,更多的使用context。

9、16 在帕斯卡VOC的基準(zhǔn)程序上執(zhí)行的很好,對(duì)我們的方法是一種補(bǔ)充，因?yàn)闄z測(cè)假設(shè)是用圖像分割工具產(chǎn)生，并且一個(gè)分類(lèi)器是應(yīng)用于這些分割的特征。而在我們的方法里，假設(shè)的檢測(cè)和評(píng)分是用一個(gè)掃描窗口方式，并且分割是遵循這些檢測(cè)的基礎(chǔ)上的。3.一個(gè)基于poselets的基線分割31 人范圍以外的poselet我們?cè)凇?】中有對(duì)poselet概念的介紹，其中類(lèi)別和姿勢(shì)特別部分檢測(cè)器是通過(guò)額外的關(guān)鍵點(diǎn)注釋來(lái)訓(xùn)練得到。特別的,我們使用在5中的框架并擴(kuò)展它到超過(guò)人的其他類(lèi)別。為此我們必須定義特定類(lèi)別的關(guān)鍵節(jié)點(diǎn)。這對(duì)于動(dòng)物種類(lèi)是簡(jiǎn)單的，但是其他一些種類(lèi)就會(huì)變得復(fù)雜多了。比如說(shuō)，椅子、船、飛機(jī)等，他們?cè)诮Y(jié)構(gòu)上都有很

10、大的可變化性。有四個(gè)腿的椅子或者一個(gè)桿和一個(gè)寬基座的椅子，而軍用飛機(jī)和商用飛機(jī)看起來(lái)有很大不同。我們把這樣的類(lèi)別分裂成幾個(gè)常見(jiàn)子類(lèi)型，并提供每個(gè)子類(lèi)型的獨(dú)立的關(guān)鍵點(diǎn)。這樣就可以訓(xùn)練各種獨(dú)立的poselet，軍用飛機(jī)的尖狀的頭，民用航機(jī)的圓狀的機(jī)頭,還有螺旋槳飛機(jī)的螺旋葉片。一些類(lèi)別，比如說(shuō)瓶子，沒(méi)有一個(gè)原則上的方向，使得在對(duì)象的參考框架上分配關(guān)鍵點(diǎn)很難。舉例說(shuō)，一個(gè)桌子的左前腿是哪個(gè)。我們的解決辦法是引進(jìn)依賴(lài)于視角的關(guān)鍵點(diǎn)。比如說(shuō)，我們有瓶子的一個(gè)左下角的關(guān)鍵點(diǎn)，那么我們定義桌子的左前腿，基于現(xiàn)有的照片視圖。在【5】中，我們表明即使在2D空間下，關(guān)鍵點(diǎn)也是有效的。這能很大程度上幫助處理其他視覺(jué)

11、類(lèi)型（這種情況下沒(méi)有簡(jiǎn)單的方法去注釋一個(gè)關(guān)鍵點(diǎn)的深度），但是有時(shí)會(huì)引入歧義。舉例說(shuō)，在2D配置空間下，一個(gè)自行車(chē)的前視圖和后視圖幾乎一樣的，唯一的區(qū)別是左和右把手關(guān)鍵點(diǎn)，可能不是在所有的例子里都可以看見(jiàn)，是應(yīng)該被交換的。這可能導(dǎo)致混合正面和反面的視角到同一個(gè)poselet，而它們?cè)谝曈X(jué)上是非常不同的。為了防止這種情況，我們使用帕斯卡類(lèi)別的視角注釋前方，左方，右方，后方。特別地，我們不接受這樣的poselet的訓(xùn)練例子，它與種子中的視角相反。圖二：注釋物體的外部界面的用戶(hù)接口 (a) 用戶(hù)看到這個(gè)在Amazon MechanicalTurk 環(huán)境里面 （b）用戶(hù)部分注釋?zhuān)╟）用戶(hù)閉合這個(gè)注釋線所

12、構(gòu)成的多邊形并且如果需要的話編輯邊界，而后點(diǎn)擊上交按鈕最后,在縱橫比上，視覺(jué)類(lèi)別有很大的可變性，使用固定的像素大小和長(zhǎng)寬比的poselet是不太好的。我們將框架擴(kuò)展，以支持可變的特定類(lèi)縱橫比的poselet，并且為每一類(lèi)訓(xùn)練不同數(shù)量的poselets.3.2 用AMT注釋我們?yōu)樗性贏mazon Mechanical Turk1上的帕斯卡VOC的訓(xùn)練和驗(yàn)證圖像收集了2 D關(guān)鍵點(diǎn)注釋和圖/背景掩模。對(duì)于關(guān)鍵點(diǎn)注釋,5個(gè)獨(dú)立用戶(hù)被顯示放大的一個(gè)種類(lèi)的物體的圖像連同一組預(yù)定義的關(guān)鍵點(diǎn)。這些用戶(hù)被要求放置這些關(guān)鍵點(diǎn)在物體的正確的位置上，如果由于遮擋，截?cái)嗟仍驅(qū)е滤鼈兛床灰?jiàn)，那就不標(biāo)記。我們假定一個(gè)關(guān)

13、鍵點(diǎn)是可以看見(jiàn)的，如果至少有兩個(gè)注釋者標(biāo)記出了它的位置。圖/背景標(biāo)記用一個(gè)相似的方法來(lái)收集。我們要求注釋者用在圖2中展示的polygon-like工具去標(biāo)記物體的外邊界。這個(gè)簡(jiǎn)單的接口可以快速標(biāo)出對(duì)象的外邊界。我們又為每個(gè)對(duì)象集中5個(gè)獨(dú)立的注釋者。3.3 mask總和圖/背景注釋使我們可以為每個(gè)poselet產(chǎn)生一個(gè)軟掩模m 0，1，通過(guò)平均化所有例子塊的二值分割注釋?zhuān)@些塊用來(lái)訓(xùn)練各自的poselet分類(lèi)器。（圖3）在測(cè)試時(shí)間, 每個(gè)poselet激活i分配給一個(gè)特定的對(duì)象假設(shè)j，伴隨著一個(gè)軟掩模mij : R2 0，1表明在被探測(cè)位置的某一像素是否是對(duì)象j的一部分的概率。我們可以建立一個(gè)非

14、常簡(jiǎn)單的基本分割，通過(guò)對(duì)所有分配到一個(gè)對(duì)象j的軟掩模mij求和： （1） 圖三 每一行展示了一些特定的poselet的訓(xùn)練實(shí)例，還有產(chǎn)生的平均掩模。并且將掩模值小于閾值m的所有點(diǎn)都設(shè)為0.因?yàn)槲覀兊哪繕?biāo)是一個(gè)不連續(xù)的分割，也就是說(shuō)每個(gè)像素只能被分配到一個(gè)對(duì)象，我們簡(jiǎn)單地選擇擁有最大分值的物體：在這里我們忽視所有的分?jǐn)?shù)少于閾值c的物體假設(shè)j，去避免考慮分割中的假的正性檢測(cè)。在表一中，我們把這個(gè)基線比作我們?cè)谙旅嫒齻€(gè)部分的改進(jìn)。圖4：在校準(zhǔn)之前的poselet輪廓（藍(lán)色）和校準(zhǔn)之后的poselet輪廓（紅色）圖5：校準(zhǔn)之后poselet輪廓的合計(jì)。多虧了校準(zhǔn)，幾乎所有的輪廓符合并且導(dǎo)致了一個(gè)對(duì)物體

15、輪廓的好的預(yù)測(cè)。4 .校準(zhǔn)因?yàn)檐浹谀已經(jīng)被獲得，通過(guò)平均在訓(xùn)練數(shù)據(jù)中的多對(duì)象實(shí)例和關(guān)節(jié)，這些軟掩模只粗略地符合測(cè)試圖形中特定對(duì)象實(shí)例的實(shí)際形狀。對(duì)象輪廓的精確位置的信息已經(jīng)被丟失了，在這個(gè)平均過(guò)程中。我們目的要恢復(fù)這個(gè)信息，通過(guò)校準(zhǔn)這個(gè)poselet輪廓到測(cè)試圖像的邊緣映射。這假定：（1）真正的圖形輪廓是邊緣映射圖中的輪廓的子集（允許有一些例外），（2）真正的對(duì)象輪廓接近于poselet預(yù)測(cè)的輪廓。我們采用0.5級(jí)設(shè)置的mij去獲得poselet輪廓gij：R2 0，1就像圖4中的分類(lèi)器預(yù)測(cè)的一樣。對(duì)于圖像邊緣集f: R2 0，1 我們用【3】中的超度量輪廓映射（UCM）圖，它是表現(xiàn)最好的輪

16、廓探測(cè)器。我們接著評(píng)估非嚴(yán)格的變形域 圖6：在對(duì)8個(gè)物體進(jìn)行20種對(duì)象假設(shè)校準(zhǔn)后的總計(jì)的poselet的掩模。為了形象化，值已經(jīng)被歸一到0,255的范圍。只有在左上角的兩個(gè)假設(shè)可以在環(huán)節(jié)5的競(jìng)賽中存活下來(lái)。（u，v）局部地校準(zhǔn)預(yù)測(cè)的輪廓g到邊緣映射f。這通過(guò)最小化下式得到：= 100 這是通過(guò)一個(gè)變量的從粗略到細(xì)化的最小化技術(shù)，在變量最優(yōu)評(píng)估【7】中用到的。這校準(zhǔn)服從于已校準(zhǔn)的輪廓預(yù)測(cè)。而且，域（u,v）也可以用于校準(zhǔn)軟掩模mij。圖4顯示了兩個(gè)poselet輪廓，在校準(zhǔn)前和校準(zhǔn)后的。再次校準(zhǔn)軟掩?？梢院嫌?jì)產(chǎn)生對(duì)整個(gè)對(duì)象的一個(gè)預(yù)測(cè)。因?yàn)榕c3.3部分的基線對(duì)照，掩模在合計(jì)之前已經(jīng)被校準(zhǔn)，他們大多

17、符合一個(gè)共同的輪廓。通過(guò)被校準(zhǔn)的輪廓gij 的綜合，這個(gè)可以很清楚的看到，如圖5示。5. 有競(jìng)爭(zhēng)的平滑在校準(zhǔn)和合計(jì)掩模之后，我們面臨著三個(gè)挑戰(zhàn)：1 我們要探測(cè)并且移除錯(cuò)誤的激活，通過(guò)已校準(zhǔn)的poselet的掩模的一致性2 一副圖像中可能有多個(gè)，部分重疊的物體。在此情況下，我們不得不決定，哪一個(gè)探測(cè)占據(jù)某一像素。3對(duì)象標(biāo)記應(yīng)該是空間一致的，因此，我們必須平滑這些掩模，在這個(gè)平滑過(guò)程中，我們想維持在校準(zhǔn)過(guò)程中建立的精確邊界位置。通過(guò)預(yù)處理這些已調(diào)整的掩模，我們目的在于前兩個(gè)目標(biāo)去獲得好的初始化的掩模，為變化的平滑方法，這一方法主要處理空間聚集，同時(shí)保存預(yù)先已建立的特性。 圖7：左邊：在競(jìng)賽和阻尼之

18、后留下的掩模預(yù)測(cè)Mj 中間：空間上聚合后的掩模uj 右邊：覆蓋在圖像上令Mj表示物體j的總計(jì)的掩模，首先我們?cè)诿總€(gè)像素上獨(dú)立地運(yùn)行一個(gè)贏者通吃的比賽。設(shè)置如下：(4)如果兩個(gè)物體j是相同的類(lèi)別，并且他們中的一個(gè)在像素x.y上獲得更高分，我們將失敗者的分?jǐn)?shù)加到勝利者上。這確保了我們不會(huì)因?yàn)橐粋€(gè)錯(cuò)誤的poselet聚類(lèi)而丟失物體證據(jù)。在一些典型的混亂情況下,如公共汽車(chē)和汽車(chē)或牛和羊,我們偏置對(duì)獲勝者的決定，通過(guò)一個(gè)特定對(duì)的值乘以Mj，去歸一化兩個(gè)類(lèi)別的poselet的相對(duì)優(yōu)勢(shì)。除了這個(gè)贏者決定，Mj不受這個(gè)偏見(jiàn)的影響。對(duì)于每個(gè)對(duì)象掩模我們計(jì)算累積的正質(zhì)量在競(jìng)爭(zhēng)之前及之后。至少丟失一般質(zhì)量的物體j將

19、被移除。他們的正mass將重新分配給獲勝的物體。這將確保一個(gè)移除的物體不會(huì)留下一個(gè)洞，因?yàn)樗诟?jìng)爭(zhēng)區(qū)域的mass已經(jīng)給了最佳競(jìng)爭(zhēng)者。如同在基本方法中，我們只考慮探測(cè)分值大于c的物體。這種對(duì)候選對(duì)象的快速選擇，也通過(guò)考慮總計(jì)的軟掩模Mj來(lái)補(bǔ)充。一個(gè)高檢測(cè)分?jǐn)?shù)可能已獲得，通過(guò)幾個(gè)寬擴(kuò)散poselet激活，他們對(duì)同一輪廓不能很好的一致。我們可以檢測(cè)這些狀況，通過(guò)考慮Mj，它們趨向于變小，對(duì)所有的x,y.我們建立一個(gè)歸一化的軟掩模。是一個(gè)阻尼系數(shù)，這歸一化所有的軟掩模并且確保最大的Mj接近1，在大的置信度的地方。Mj處處小于1/2的對(duì)象被移除。除了去除更多的錯(cuò)誤激活，這個(gè)過(guò)程也可以處理錯(cuò)誤的posle

20、t激活,它們已被錯(cuò)誤地分配給對(duì)象。由于它們的軟掩模與其他的激活不相符合，在這些區(qū)域，阻尼使Mj接近于0，這使得這些區(qū)域可能被平滑掉。最后，我們判決掩模Mj的平滑的版本uj，用一個(gè)變化的方法最小化 滿(mǎn)足條件 。這種能量模型包含一個(gè)證據(jù)項(xiàng)，考慮到掩模預(yù)測(cè)Mj， 和一個(gè)光滑項(xiàng)（它從更大的區(qū)域上聚集信息，去符合一個(gè)特定類(lèi)的標(biāo)簽）。能量尋求接近預(yù)測(cè)的面具的最終的標(biāo)簽，產(chǎn)生了緊湊的區(qū)域，它和預(yù)測(cè)輪廓Cj符合的很好。Cj代表一個(gè)物體的歸一化到范圍【0,255】的輪廓gij的總概。在掩模預(yù)測(cè)不確定的區(qū)域，我們想讓平滑過(guò)程有更多的影響，比那些掩模標(biāo)簽已經(jīng)很好的預(yù)測(cè)的區(qū)域。這通過(guò)稱(chēng)量帶有掩模度的證據(jù)項(xiàng)得到。如果沒(méi)

21、有證據(jù)證明這個(gè)像素屬于或者不屬于這個(gè)物體，那么證據(jù)項(xiàng)就是0.除確保不相交區(qū)域的額外的約束，這是一個(gè)凸的最優(yōu)化問(wèn)題，即，我們可以用變分技術(shù)計(jì)算無(wú)約束問(wèn)題的全局最優(yōu)結(jié)果。以下為歐拉-拉格朗日方程：產(chǎn)生一個(gè)非線性方程組，這個(gè)問(wèn)題我們用固定點(diǎn)方案解決，用到了過(guò)度寬松的高斯-賽德?tīng)柷蠼獬绦颉Ｍㄟ^(guò)在每個(gè)固定點(diǎn)迭代上投射回約束集，建立約束條件。圖8： 前行：提純前的分割。下行：細(xì)化后的分割。通過(guò)物體的自相似性，許多細(xì)節(jié)得到了校正。左側(cè)第二個(gè)例子顯示，我們還可以區(qū)分同一類(lèi)別的多個(gè)實(shí)例。這個(gè)更具挑戰(zhàn)性的問(wèn)題是不包括在目前的基準(zhǔn)內(nèi)的。圖7示出了掩模預(yù)測(cè)Mj和聚合后的相應(yīng)的掩模U j。因?yàn)榭紤]了對(duì)齊的輪廓C j，我

22、們獲得了清晰的對(duì)象邊界。平滑項(xiàng)中的L1支持這個(gè)效果，通過(guò)密封Cj的空隙 。與此相反，l2將導(dǎo)致泄漏。U j的積極部分產(chǎn)生二進(jìn)制對(duì)象掩模。不被對(duì)象占用的區(qū)域產(chǎn)生背景掩模。6、 建立在自相似性基礎(chǔ)上的細(xì)化雖然前面的對(duì)齊過(guò)程已經(jīng)提高了預(yù)測(cè)的形狀和圖像邊界的一致性，但其形狀仍然缺乏大部分的凹部，例如，馬的腿。到目前為止，我們只是間接地利用了顏色和紋理，通過(guò)考慮顏色和紋理的不連續(xù)性。我們建議對(duì)形狀進(jìn)一步的細(xì)化，通過(guò)對(duì)象的自相似性。這種細(xì)化可以翻轉(zhuǎn)像素的標(biāo)簽，如果根據(jù)顏色和紋理，他們更好的符合另一個(gè)對(duì)象的話。我們從目前為止所獲得的對(duì)象掩模開(kāi)始，并為每個(gè)對(duì)象和背景建立一個(gè)無(wú)參數(shù)的外觀模型。對(duì)于外觀，我們考慮

23、7*7的圖像塊，在Clielab顏色空間中。我們用系數(shù)0.1乘以L通道以減輕它在圖像塊距離上的權(quán)重。我們不在灰度圖像上進(jìn)行細(xì)化。不是對(duì)單個(gè)像素的反轉(zhuǎn)，我們考慮UCM所提供的像素集，我們已經(jīng)用它們來(lái)校準(zhǔn)。如果物體的邊界與UCM邊界不重合，我們添加這樣的邊緣并相應(yīng)地分裂UCM區(qū)域。這將確保，自頂向下的形狀知識(shí)仍然能夠產(chǎn)生幻覺(jué)邊界，那種邊界在圖像中是不可見(jiàn)的或者被UCM錯(cuò)過(guò)了。對(duì)于在superpixel內(nèi)的像素，我們找到了圖像中的100個(gè)最近鄰，用一種近似的最近鄰法。這100個(gè)最近的鄰居上的標(biāo)簽投票，給superpixel的標(biāo)簽。從形式上看，我們可以用最鄰近的核心寫(xiě)一個(gè)近似的密度估計(jì)。其中，F(xiàn)(X，

24、Y)表示關(guān)心的像素上的塊，K=1，····，100列出了最近的臨近像素。Nj表示對(duì)象j的大小。決定Superpixel R的標(biāo)簽是根據(jù)最大后驗(yàn)原則：我們使用統(tǒng)一的先驗(yàn)函數(shù)P(j)，除了自行車(chē)以外，它是很凹的對(duì)象，往往在最初的對(duì)象掩模上表現(xiàn)出很多背景。這個(gè)可以從圖8（1）中的第四個(gè)例子中看到。我們對(duì)訓(xùn)練集上的這個(gè)類(lèi)確定出最佳的先驗(yàn)概率。為了避免只是由于類(lèi)似的顏色和紋理，反轉(zhuǎn)superpixel遠(yuǎn)離了實(shí)際的對(duì)象，我們僅允許superpixel獲得距superpixel為10像素之內(nèi)的標(biāo)簽。這個(gè)過(guò)程的迭代確保標(biāo)簽仍然可以傳播很長(zhǎng)的距離，只要對(duì)象是連續(xù)的。如果在

25、標(biāo)簽上沒(méi)有進(jìn)一步的變化，我們就停止迭代。圖8示出了細(xì)化之前和之后的一些結(jié)果。在大多數(shù)情況下，我們可以獲得更精確的分割，并且我們可以避免標(biāo)簽不受控制地蔓延到背景。（1）我們的AMT注解沒(méi)有包括車(chē)輪上的孔和幀。表1：合并后的Pascal VOC 2007訓(xùn)練、驗(yàn)證和測(cè)試集（632副圖）上的分割結(jié)果。表2中。我們?cè)?010年帕斯卡VOC測(cè)試集上的分割結(jié)果是該挑戰(zhàn)領(lǐng)域中表現(xiàn)最好的之一。更多方法的最新的結(jié)果可以從【2】中查找。7、 實(shí)驗(yàn)評(píng)價(jià)我們?cè)赑ascal VOC問(wèn)題上評(píng)估檢測(cè)和分割的方法。Poselet分類(lèi)器已經(jīng)在這一挑戰(zhàn)的訓(xùn)練和驗(yàn)證集上進(jìn)行了訓(xùn)練（2007年的圖像除外）。我們也使用這些數(shù)據(jù)集去優(yōu)化

26、我們方法的參數(shù)（例如）。為了顯示我們的技術(shù)的不同部分的影響，我們一個(gè)接一個(gè)地刪除，直到我們以第三節(jié)中所描述的基本方法而結(jié)束。我們?cè)诤喜⒌腣OC 2007訓(xùn)練、驗(yàn)證、和測(cè)試集上比較這些不同版本。2007圖片沒(méi)有被用于訓(xùn)練分類(lèi)器和參數(shù)優(yōu)化（2）。（2）為了訓(xùn)練馬的poselets，用到了2007訓(xùn)練和驗(yàn)證數(shù)據(jù)集表1表示出了比較的結(jié)果。顯然，模型的每個(gè)部分都提高了整體的性能。相比較基本模型，我們得到了15%的改善。Poselets的校準(zhǔn)僅僅有一個(gè)較小的效果，因?yàn)樗挥绊懙搅讼鄬?duì)較小的區(qū)域。此外，這種校準(zhǔn)對(duì)電視監(jiān)視器具有負(fù)面影響，因?yàn)槠聊坏母鼜?qiáng)的邊界優(yōu)先于顯示器的正確的外邊界。盡管如此，校準(zhǔn)對(duì)我們的模

27、型是非常重要的，因?yàn)樗兄诰奂奂a(chǎn)生了最大的提升。為了與其他的對(duì)象分割技術(shù)比較，我們也在VOC 2010的測(cè)試集上運(yùn)行了完整的方法。表2顯示了我們的研究成果相近于這一挑戰(zhàn)中最頂尖的方法。我們的方法在平均分上居第三位，在其中的四種類(lèi)別中顯示出了最好的結(jié)果，其中包括重要的“人”的類(lèi)別。盡管和表2中的其他方法不同，我們已經(jīng)將所有的訓(xùn)練圖像進(jìn)行了分割注釋?zhuān)沁@些分割是相當(dāng)粗糙的。和像素精確的VOC分割不同的是，他們可以容易地使用【1】來(lái)獲得。圖9給出了一些分割的例子。我們獲得了與真正的對(duì)象邊界符合的很好的分割，因此看起來(lái)非常具有吸引力。僅從視覺(jué)印象來(lái)說(shuō)，這還需要更好的定量的數(shù)據(jù)。然而，因?yàn)檎?/p>

28、體分割的數(shù)目仍然相對(duì)較弱（即使是最好的方法也產(chǎn)生更多的錯(cuò)誤激活和錯(cuò)誤的非激活，相較于正確的激活來(lái)說(shuō)），正確地檢測(cè)數(shù)據(jù)集中的一個(gè)大一點(diǎn)的對(duì)象比檢測(cè)邊界（由一些像素構(gòu)成的更精確的）有更大的定量效應(yīng)。這也是為什么在表一中,我們通過(guò)具有競(jìng)爭(zhēng)力的平滑得到了最大提升的原因.圖9：在Pascal VOC 2010探測(cè)集上的結(jié)果通常是像素級(jí)精確的，如果對(duì)象很好的檢測(cè)出來(lái)了。失敗的例子，就像在最后的一行顯示的那樣，主要是探測(cè)器的問(wèn)題。對(duì)象完成需要一個(gè)足夠的同質(zhì)對(duì)象或背景。8、 結(jié)論在一個(gè)結(jié)合了圖像邊緣和自相似性暗示的豐富的“基于部分”檢測(cè)器的基礎(chǔ)上，我們提出了一個(gè)面向?qū)ο蠓指畹姆椒?，我們發(fā)現(xiàn)在具有挑戰(zhàn)性的Pas

29、cal VOC的檢測(cè)基準(zhǔn)上，這種方法非常有競(jìng)爭(zhēng)力，我們可以在四個(gè)種類(lèi)上得到最佳結(jié)果。更引人注目的是我們的結(jié)果的視覺(jué)質(zhì)量，這歸功于我們對(duì)預(yù)測(cè)輪廓到實(shí)際圖像邊緣的精確對(duì)準(zhǔn)。另一個(gè)有趣的觀察結(jié)果是，我們獲得了更好的分割結(jié)果，比那些構(gòu)建在10中的探測(cè)器上的方法，比如19或者表2中的芝加哥進(jìn)入，盡管poselets在探測(cè)任務(wù)上的整體表現(xiàn)比10中的差。參考文獻(xiàn):1 Amazon Mechanical Turk. . 3, 72 The PASCAL Visual Object Classes Challenge 2010 (VOC2010) Results. pascallin.ecs.soton.ac.

30、uk/challenges/VOC/voc2010/results. 73 P. Arbelaez, M. Maire, C. Fowlkes, and J. Malik. From contours to regions: an empirical evaluation. CVPR, 2009. 44 E. Borenstein and S. Ullman. Class-specific, top-down segmentation.ECCV, 2002. 15 L. Bourdev, S. Maji, T. Brox, and J. Malik. Detecting peopleusing

31、 mutually consistent poselet activations. ECCV, 2010.1, 26 L. Bourdev and J. Malik. Poselets: body part detectors training using 3D human pose annotations. ICCV, 2009. 27 T. Brox, A. Bruhn, N. Papenberg, and J. Weickert. High accuracyoptical flow estimation based on a theory for warping. ECCV, 2004.

32、 48 D. Cremers, T. Kohlberger, and C. Schn¨orr. Nonlinear shapestatistics in MumfordShah based segmentation. ECCV, 2002. 29 D. Cremers, S. Osher, and S. Soatto. Kernel density estimationand intrinsic alignment for shape priors in level setsegmentation. International Journal of Computer Vision, 69(3):335351, 2006. 210 P. Felzenszwalb, R. Girshick, D. McAllester, and D. Ramanan.Object detection with discriminatively trained partbasedmodels. IEEE Transactions on Pattern Analysis andMachine Int