鄭偉博士答辯v2

局部形狀特征表示及其在目標檢測中的應用報告人：鄭偉導師：陳熙霖研究員2006級碩博連讀2/1/20231提綱課題意義與研究背景本文研究內容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結與展望主要研究成果2/1/20232課題意義與研究背景目標檢測的研究意義基于局部形狀表示方法開展研究的動機目標檢測研究概述形狀表示方法概述2/1/20233課題意義與研究背景目標檢測的研究意義問題描述視覺信息約占據(jù)人類對外界信息感知總量的80%圖片和視頻作為視覺信息存儲媒介蘊含了大量信息目標檢測是在圖像或者視頻中發(fā)現(xiàn)并定位指定類別的目標，是對圖片和視頻中的信息進行分析與理解的重要研究內容理論意義應用前景2/1/20234課題意義與研究背景目標檢測的研究意義問題描述理論意義促進多個相關學科的研究計算機視覺(特征表示與提取)模式識別(分類器設計)圖像處理(去噪聲)認知學(人類視覺感知機理)應用前景2/1/20235課題意義與研究背景目標檢測的研究意義問題描述理論意義應用前景公共安全：智能交通監(jiān)控、異常行為分析家庭娛樂：智能電視、交互式游戲、基于內容的圖像檢索、相機自動對焦商業(yè)辦公：基于內容的廣告投放、基于內容的文件管理2/1/20236課題意義與研究背景目標檢測的研究意義基于局部形狀表示方法開展研究的動機目標檢測研究概述形狀表示方法概述2/1/20237課題意義與研究背景基于局部形狀表示方法開展研究的動機為何選擇形狀信息表示目標對于某些類別的目標，形狀信息是其所特有且穩(wěn)定的信息，而顏色和紋理信息不穩(wěn)定、類內差異較大形狀特征有可能在檢測到目標位置的基礎上，更精確的解釋目標形狀，從而勾勒輪廓、分割前景輪廓形狀

背部對應位置紋理與顏色

2/1/20238課題意義與研究背景基于局部形狀表示方法開展研究的動機局部方法相對于全局方法的優(yōu)勢全局方法易受真實場景中邊緣缺失以及交叉影響全局形狀表示困難，局部形狀易找到高效表示方法若干關鍵局部形狀足以提供檢測目標所需信息真實場景中馬的邊緣理想的馬的輪廓若干馬的局部輪廓片段2/1/20239課題意義與研究背景目標檢測的研究意義基于局部形狀表示方法開展研究的動機目標檢測研究概述形狀表示方法概述2/1/202310課題意義與研究背景目標檢測研究概述目標檢測器的任務：特定類別的目標在哪里？在圖片中？在檢測窗口內？輪廓在哪里？前景在哪里？分類定位形狀表示分割前景[ShottonPAMI08][GraumanICCV05][ToshevIJCV12][ChenCVPR12][FernandoCVPR12]…[ShottonPAMI08][FerrariIJCV10][ChunhuiCVPR09][ToshevIJCV12][Leibe.IJCV08]…[FerrariIJCV10][ToshevIJCV12][XinggangCVPR12][XiangICCV09][CootesCVIU95]…[ChunhuiCVPR09][ToshevIJCV12][KumarPAMI10][LeibeIJCV08][BertelliCVPR11]…2/1/202311課題意義與研究背景目標檢測研究概述目標檢測器的任務：特定類別的目標在哪里？分類定位形狀表示分割前景[ShottonPAMI08][GraumanICCV05][ToshevIJCV12][ChenCVPR12][FernandoCVPR12]…[ShottonPAMI08][FerrariIJCV10][ChunhuiCVPR09][ToshevIJCV12][Leibe.IJCV08]…[FerrariIJCV10][ToshevIJCV12][XinggangCVPR12][XiangICCV09][CootesCVIU95]…[ChunhuiCVPR09][ToshevIJCV12][KumarPAMI10][LeibeIJCV08][BertelliCVPR11]…在圖片中？在檢測窗口內？輪廓在哪里？前景在哪里？2/1/202312課題意義與研究背景目標檢測研究概述目標檢測框架窗口掃描框架[DalalCVPR05]表示：固定長寬比的矩形窗口訓練：判別式(分類器)檢測：掃描可能的位置與尺度訓練過程檢測過程2/1/202313投票框架[LeibeIJCV08]表示：部件碼本投票中心訓練：產(chǎn)生式(聚類)檢測：廣義哈夫投票課題意義與研究背景目標檢測研究概述目標檢測框架窗口掃描框架[DalalCVPR05]表示：固定長寬比的矩形窗口訓練：判別式(分類器)檢測：掃描可能的位置與尺度訓練過程檢測過程2/1/202314課題意義與研究背景目標檢測研究概述衡量目標檢測器的兩項重要指標精度精細程度窗口[ViolaCVPR01]輪廓[FerrariIJCV10]前景[ToshevCVPR10]精確程度特征表示[DalalCVPR05]分類器設計[Felz.CVPR08]速度減少掃描窗口個數(shù)加大采樣間隔[DalalThesis06]由粗到細[ZhengIVC12]減少窗口內的計算復雜度層級式分類器[ViolaCVPR01]減少計算冗余[Schn.CVPR04]設計快速特征[WuICCV05]2/1/202315課題意義與研究背景目標檢測研究概述目標檢測的評測標準速度：運行時間、時間-精度曲線[ButkoCVPR09]精度：不同的檢測任務的典型評測方法與數(shù)據(jù)庫分類任務：ROC曲線(VOCchallenge)、混淆矩陣(Caltech101)窗口定位：ROC曲線(INRIAperson)、平均準確率(VOCchallenge)、等正確率與召回率(UIUCcar)勾勒輪廓：覆蓋率-準確率(ETHZshape)分割前景：ROC曲線(Weizmanhorses)2/1/202316課題意義與研究背景目標檢測研究概述研究現(xiàn)狀總結窗口定位的研究廣泛開展(準)剛體目標(較早較準確)：準正面人臉[ViolaCVPR01]、側面車輛[AgarwalPAMI04]非剛體以及多類通用目標(較晚挑戰(zhàn)多)：人體目標[DalalCVPR05]、通用目標[Felz.CVPR08]基于形狀的檢測方法近年來不斷發(fā)展窗口定位[ShottonCVPR05]勾勒輪廓[FerrariCVPR07]分割前景[ToshevCVPR10]2/1/202317目標檢測研究概述研究現(xiàn)狀總結窗口定位的研究廣泛開展基于形狀的檢測方法近年來不斷發(fā)展課題意義與研究背景95~0001~0607~12633000879000755000objectdetectionShapefeaturesobjectdetection566008790099300搜索關鍵字8.9%10.0%13.2%2/1/202318課題意義與研究背景目標檢測的研究意義基于局部形狀表示方法開展研究的動機目標檢測研究概述形狀表示方法概述2/1/202319課題意義與研究背景形狀表示方法概述形狀表達方式[ZhangPR03]2/1/202320輪廓區(qū)域骨架模型：medialaxis幾何性質：area、eccentricity區(qū)域空間位置：shapegrid、shapematrix變換域系數(shù)：Fourierdescriptor區(qū)域內的像素信息：ISM、superpixels、HOGblock點的序關系：chaincode點對之間的相對關系：shapecontext幾何性質：eccentricity、shapesignature變換域系數(shù)：Fourierdescriptor標記點：activeshapemodel濾波器響應值：contourfragment、edgelet、boundaryfragment課題意義與研究背景形狀表示方法概述形狀表達方式[ZhangPR03]2/1/202321輪廓區(qū)域骨架模型：medialaxis幾何性質：area、eccentricity區(qū)域空間位置：shapegrid、shapematrix變換域系數(shù)：Fourierdescriptor區(qū)域內的像素信息：ISM、superpixels、HOGblock點的序關系：chaincode點對之間的相對關系：shapecontext幾何性質：eccentricity、shapesignature變換域系數(shù)：Fourierdescriptor標記點：activeshapemodel濾波器響應值：contourfragment、edgelet、boundaryfragment全局局部課題意義與研究背景形狀表示方法概述形狀特征(模型)的變形方法形狀變化的表示方法形狀參數(shù)子空間：Activeshapemodel[CootesCVIU95]幾何曲線：圓、拋物線[YuilleIJCV92]整體變換：平移、旋轉、尺度[OpeltECCV06]能量函數(shù)Activecontourmodel[KassIJCV88]Levelset[OsherJCP88]Elasticmodel[BimboPAMI97]TPS-RPM[ChuiCVIU2003]2/1/202322課題意義與研究背景形狀表示方法概述形狀特征(模型)的變形方法減小類內形變規(guī)律影響的方法人工經(jīng)驗：先驗位置，小范圍擾動Deformablepartmodel[Felz.CVPR08]Boundaryfragment[OpeltECCV06]Activebasis[WuICCV07]自動學習：從訓練數(shù)據(jù)中學習統(tǒng)計規(guī)律Activeshapemodel[CootesCVIU95]2/1/202323課題意義與研究背景形狀表示方法概述形狀特征的組合方法采用機器學習算法組合特征描述能力：matchingpursuit[WuICCV07]判別能力：boosting[ShottonCVPR05]采用認知學的定律組合特征封閉性(closure)[LeviECCV10]接近性(proximity)[FerrariPAMI08]平行性(parallalism)[LoweAI87]2/1/202324表示真實場景圖像中的目標形狀邊緣缺失缺失區(qū)域包含錯誤形狀信息背景或目標內部混雜邊緣與目標輪廓交叉，與目標輪廓混淆課題意義與研究背景形狀表示方法概述研究現(xiàn)狀總結表示純凈的形狀圖形類間區(qū)分性類內不變性剛性、非剛性形變2/1/202325提綱課題意義與研究背景本文研究內容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結與展望主要研究成果2/1/202326本文研究內容所要達到的研究目標在真實場景的圖片中自動、準確、快速地回答關于特定類別的目標(如馬)的如下信息：是否出現(xiàn)在圖片中目標窗口在哪里目標輪廓在哪里目標前景在哪里2/1/202327本文研究內容所需解決的關鍵問題為了使得目標檢測器的精度高、速度快，設計形狀特征表示方法需要考慮以下三個問題判別能力：檢測是分類問題，有效區(qū)分前背景描述能力：準確勾勒目標輪廓和分割前景區(qū)域計算效率：檢測窗口數(shù)目大，計算復雜度較高2/1/202328本文研究內容各章研究內容及其關系輸入圖像窗口掃描基本局部形狀特征(小邊、條帶)可變形局部形狀特征(可擾動條帶、主動輪廓片段)可變形局部形狀特征的組合(主動輪廓組、輪廓片段對)第四章特征組合方法第三章特征變形方法第二章

基本形狀元素的表示方法檢測窗口分類器背景目標輪廓、前景特征表示分類器設計2/1/202329提綱課題意義與研究背景本文研究內容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結與展望主要研究成果2/1/202330基本形狀元素的表示方法研究動機形狀信息具有類間判別性和類內穩(wěn)定性局部形狀可以由基本形狀元素近似表示2/1/202331基本形狀元素的表示方法研究動機以車輛為例研究基本形狀元素的表示方法車輛的保險杠、立柱以及輪胎等許多結構可以近似表示為直線段和弧線段等基本形狀元素2/1/202332基本形狀元素的表示方法條帶特征的表示采用明暗相間的條帶區(qū)域表示車輛的典型結構2/1/202333基本形狀元素的表示方法條帶特征的提取方法提取圖像中亮度對比信息作為特征響應值直接計算方式(DStrip)區(qū)域內點離線生成2/1/202334直接計算方式(IStrip)復雜度與條帶區(qū)域寬度無關g()是積分圖運算[ViolaCVPR01]

基于條帶特征訓練目標檢測器Boosting算法訓練層級式目標檢測器復雜度敏感的特征選擇方法權衡計算復雜度與判別能力基本形狀元素的表示方法2/1/202335判別能力計算代價特征選擇準則：基本形狀元素的表示方法條帶特征的車輛檢測精度評測(VOC2006車輛子集)與Haar-like相比提升約10%與小邊特征相比提升約25%2/1/202336Haar-like[ViolaCVPR01]Edgelet[WuICCV05]Heterogeneous[WuCVPR08]I-Strip(本文方法)基本形狀元素的表示方法基于條帶特征的車輛檢測的速度評測復雜度敏感的特征選擇方法：自適應調整計算復雜度與判別能力的權重檢測器速度：條帶特征與Haar-like特征相似2/1/202337基本形狀元素的表示方法本章小結算法的優(yōu)點可以看做小邊特征與區(qū)域描述子的結合，響應值較穩(wěn)定可以看做Haar-like特征在形狀模式上的擴展，描述能力較強復雜度低，與改進的特征選擇算法結合可以達到較快檢測速度存在的問題沒有顯式解決類內形變的影響2/1/202338小邊Haar-like條帶提綱課題意義與研究背景本文研究內容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結與展望主要研究成果2/1/202339局部形狀的變形方法研究動機可擾動的條帶特征主動輪廓片段比較兩種方法2/1/202340局部形狀的變形方法研究動機問題類內形變是造成特征不穩(wěn)定匹配的最主要原因之一思路特征通過變形方法尋找最佳匹配，有效的減小類內形變帶來的影響2/1/202341局部形狀的變形方法研究動機可擾動的條帶特征主動輪廓片段比較兩種方法2/1/202342局部形狀的變形方法可擾動條帶特征研究動機條帶特征不僅可以表示車輛形狀，而且可以表示其他的剛體(自行車、摩托車)及非剛體目標(如人體、牛)條帶特征匹配算法不能變形類內形變易造成特征響應值的不穩(wěn)定，從而降低其判別能力2/1/202343局部形狀的變形方法可擾動條帶特征變形算法按照人工經(jīng)驗讓條帶局部的位置和對比模式擾動條帶特征(IStrip)2/1/202344可擾動條帶特征(PStrip)局部形狀的變形方法可擾動條帶特征檢測器對VOC200610類目標的檢測平均精度2/1/202345Comp.[EveringhamTR06]HOG[DalalThesis06]Haar.[ViolaCVPR01]Edgelet[WuICCV05]局部形狀的變形方法可擾動條帶特征總結算法的優(yōu)點條帶特征對多類目標可以取得不錯的檢測效果擾動算法一定程度上(1.5%)提高了條帶特征的檢測精度存在的問題擾動算法是人工經(jīng)驗設計的變形算法不同的特征采用同樣的變形方法擾動算法無法解決比較大的形變，如鉸接形變2/1/202346局部形狀的變形方法研究動機可擾動的條帶特征主動輪廓片段比較兩種方法2/1/202347局部形狀的變形方法主動輪廓片段研究動機目標不同區(qū)域的形狀具有不同的變形規(guī)律自動的從訓練數(shù)據(jù)中學習目標的變形規(guī)律2/1/202348局部形狀的變形方法主動輪廓片段學習算法生成小邊特征作為形狀基元與訓練數(shù)據(jù)匹配學習形狀子空間表示2/1/202349局部形狀的變形方法主動輪廓片段主動輪廓片段的性質前兩維能夠涵蓋大部分的變形能量變形中的輪廓片段是光滑連續(xù)的2/1/202350第一維主成分第二維主成分局部形狀的變形方法主動輪廓片段匹配算法遍歷形狀子空間，尋找最佳匹配2/1/202351主動輪廓片段目標檢測器訓練檢測器Boosting算法選擇特征，構建層級式檢測器輪廓定位當窗口被分類為目標時，形狀特征向測試圖像中對應點投票向原始圖像的對應位置投票局部形狀的變形方法2/1/202352檢測窗口測試圖像局部形狀的變形方法主動輪廓片段主動輪廓片段的檢測精度評測(Weizmannhorses)窗口定位：比edgelet和條帶特征提高約4%~5%輪廓定位：比edgelet和條帶特征提高約15%~20%2/1/202353窗口定位輪廓定位局部形狀的變形方法主動輪廓片段總結方法的優(yōu)點不同的局部特征具有不同的變形規(guī)律能夠表示范圍變化較大的變形規(guī)律存在的問題變形范圍比較大，但是缺少更大范圍內的形狀約束，容易錯誤匹配到與目標輪廓相似的背景邊緣2/1/202354局部形狀的變形方法研究動機可擾動的條帶特征主動輪廓片段比較兩種方法2/1/202355局部形狀的變形方法比較兩種方法2/1/202356可擾動條帶特征主動輪廓片段設計思路人工經(jīng)驗自動學習訓練過程無需訓練需要離線訓練變形規(guī)律統(tǒng)一規(guī)律由訓練數(shù)據(jù)決定變形范圍變形范圍小變形范圍大窗口定位性能87.4%89.1%86.1%91.1%輪廓定位性能57.5%63.5%58.0%74.0%注：表中數(shù)據(jù)來自在Weizmanhorse數(shù)據(jù)庫上的精度評測結果提綱課題意義與研究背景本文研究內容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結與展望主要研究成果2/1/202357局部形狀特征的組合方法研究動機主動輪廓組輪廓片段對比較兩種方法2/1/202358局部形狀特征的組合方法研究動機問題大量背景或者目標內部邊緣與目標輪廓位置接近、形狀相似，導致局部特征在變形過程中容易產(chǎn)生誤匹配思路組合局部特征表示更大范圍內的形狀信息2/1/202359錯誤匹配結果特征初始位置局部形狀特征的組合方法研究動機主動輪廓組輪廓片段對比較兩種方法2/1/202360局部形狀特征的組合方法主動輪廓組研究動機短的輪廓片段在圖像中頻繁出現(xiàn)，但連續(xù)的長輪廓通常位于目標輪廓上，因此將鄰接的短特征鏈接起來匹配圖像中的長輪廓，可能會有效減少誤匹配2/1/202361局部形狀特征的組合方法主動輪廓組馬爾可夫鏈模型2/1/202362…鄰域系統(tǒng)定義：局部形狀特征的組合方法主動輪廓組能量函數(shù)2/1/202363一階能量項接近邊緣二階能量項保持連續(xù)局部形狀特征的組合方法主動輪廓組采用遞增式學習的主動輪廓組快速生成算法步驟1:以一個主動輪廓片段初始化主動輪廓組步驟2:選擇與主動輪廓組頭尾鄰接的主動輪廓片段步驟3:以遞增方式快速匹配新的主動輪廓組與訓練樣本步驟4:選出匹配能量最小的主動輪廓片生張主動輪廓組步驟5:更新對主動輪廓組參數(shù)的前兩維子空間的估計步驟6:沒有超出長度上限和前兩維能量下限繼續(xù)步驟22/1/202364能量函數(shù)遞增形式局部形狀特征的組合方法主動輪廓組主動輪廓組性質大多數(shù)的主動輪廓組中含有3段以上的主動輪廓片段主成分分析的前二維主成分涵蓋形變的大部分能量主動輪廓組可以表示連續(xù)的長輪廓2/1/202365長度為10的主動輪廓組的第一維主成分長度為10的主動輪廓組的第二維主成分局部形狀特征的組合方法主動輪廓組為什么不直接采用長的小邊特征生成長的主動輪廓片段？真實場景下，由于背景邊緣的存在、目標輪廓的缺失，很難存在理想的輪廓，因此無法從長的小邊特征直接學出長的主動輪廓片段2/1/202366局部形狀特征的組合方法主動輪廓組主動輪廓組的檢測精度評測(Weizmannhorses)窗口定位：與主動輪廓片段相比，精度提升不明顯輪廓定位：與主動輪廓片段相比，約有5%的提升2/1/202367輪廓定位窗口定位局部形狀特征的組合方法主動輪廓組總結方法的優(yōu)點該方法將主動輪廓片段鏈接成長的連續(xù)形狀特征，能夠減少誤匹配到背景中及目標內部的短邊緣，因此輪廓定位的精度在同樣覆蓋率的情況下準確率提高約5%存在的問題與主動輪廓片段相比，并沒有編碼更多的圖像信息，窗口定位的性能并未因此得到顯著提升2/1/202368局部形狀特征的組合方法研究動機主動輪廓組輪廓片段對比較兩種方法2/1/202369局部形狀特征的組合方法輪廓片段對研究動機格式塔心理學的相似性定律和接近性定律表明人類可以將形狀相似位置接近的輪廓片段組合在一起感知出目標物體的前景區(qū)域2/1/202370局部形狀特征的組合方法輪廓片段對配對的原則共現(xiàn)性：兩個輪廓片段要在訓練樣本上共現(xiàn)相似性：兩個輪廓片段的形狀是相似的接近性：兩個輪廓片段彼此是最接近的對方的片段2/1/202371局部形狀特征的組合方法輪廓片段對匹配能量函數(shù)一階能量項：盡量接近圖像中的邊緣二階能量項：兩個片段之間的面積變形時保持穩(wěn)定2/1/202372采用一階能量項的匹配結果加入二階能量項的匹配結果局部形狀特征的組合方法輪廓片段對輪廓片段對的性質主成分分析的前二維主成分涵蓋形變的大部分能量輪廓片段中間的區(qū)域可能是目標的前景區(qū)域2/1/202373第一維主成分第二維主成分輪廓片段對訓練檢測器提取形狀、顏色、紋理特征，利用邏輯回歸和boosting算法訓練層級式目標檢測器勾勒輪廓與分割前景當窗口被分類為目標時，邊緣和內部分別對輪廓和前景投票局部形狀特征的組合方法2/1/202374檢測窗口測試圖像局部形狀特征的組合方法輪廓片段對輪廓片段對的檢測精度評測(Weizmannhorses)窗口定位：比主動輪廓片段及主動輪廓組提升約3%輪廓定位：比主動輪廓片段及主動輪廓組提升10%~15%前景分割：主動輪廓片段及主動輪廓組無法預測前景2/1/202375窗口定位前景分割輪廓定位局部形狀特征的組合方法輪廓片段對總結方法的優(yōu)點與形狀特征相比可以同時利用形狀和表觀信息，因為輪廓片段對可以從輪廓推測出目標的前景區(qū)域與矩形區(qū)域的描述子相比，可能提供更準確的表觀信息，因為輪廓片段對比矩形區(qū)域更準確的表示目標的前景區(qū)域與現(xiàn)有的類似方法相比，只需要人工標注訓練樣本的檢測窗口，無需細致分割數(shù)據(jù)存在的問題輪廓片段對只能夠表示局部區(qū)域的信息，多個輪廓片段對之間缺乏全局信息約束2/1/202376局部形狀特征的組合方法研究動機主動輪廓組輪廓片段對比較兩種方法2/1/202377局部形狀特征的組合方法比較兩種方法2/1/202378主動輪廓組輪廓片段對研究動機連續(xù)長片段是顯著的相似律、接近律表示信息形狀形狀和表觀檢測器功能窗口、輪廓窗口、輪廓以及前景窗口定位性能91.1%89.1%91.1%91.1%輪廓定位性能74.0%80.0%74.0%89.0%前景分割性能-90.0%注：表中數(shù)據(jù)來自在Weizmanhorse數(shù)據(jù)庫上的精度評測結果提綱課題意義與研究背景本文研究內容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結與展望主要研究成果2/1/202379總結與展望全文內容總結2/1/202380注：表中數(shù)據(jù)來自在Weizmanhorse數(shù)據(jù)庫上的精度評測結果總結與展望未來工作展望全局形狀模型主動輪廓組和主動輪廓對沒有利用到全局形狀約束與分割方法相結合可以與底層的通用分割算法相結合產(chǎn)生式模型所有的方法都是在判別式框架下討論，可以嘗試在產(chǎn)生式框架下對形狀建模2/1/202381提綱課題意義與研究背景本文研究內容基本形狀元素的表示方法局部形狀特征的變形方法局部形狀特征的組合方法總結與展望主要研究成果2/1/202382主要研究成果博士期間發(fā)表的期刊W.Zheng,H.Chang,L.Liang,H.Ren,S.Shan,andX.Chen.Stripfeaturesforfast