【畢業(yè)學(xué)位論文】基于瀑布型分類器的人臉檢測研究-計算機應(yīng)用技術(shù)博士論文

分類號 密級 編號 中國科學(xué)院研究生院 博士學(xué)位論文 基于瀑布型分類器的人臉檢測研究 閆勝業(yè) 指導(dǎo)教師 高文 教授 中國科學(xué)院計算技術(shù)研究所 申請學(xué)位級別 工學(xué)博士 學(xué)科專業(yè)名稱 計算機應(yīng)用技術(shù) 論文提交日期 2009年4月 論文答辯日期 2009年6月 培養(yǎng)單位 中國科學(xué)院計算技術(shù)研究所 學(xué)位授予單位 中國科學(xué)院研究生院 答辯委員會主席 盧漢清 聲 明 我聲明本論文是我本人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝 的地方外，本論文中不包含其它人已經(jīng)發(fā)表或撰寫過的研究成果。與我一 同工作的同志對本研究所做的任何貢獻均已在論文中作了明 確的說明并表示了謝意。 作者簽名： 日期： 論文版權(quán)使用授權(quán)書 本人授權(quán)中國科學(xué)院計算技術(shù)研究所可以保留并向國家有關(guān)部門或機構(gòu)送交本論文的復(fù)印件和電子文檔，允許本論 文被查閱和借閱，可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢 索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文。 （保密論文在解密后適用本授權(quán)書。 ） 作者簽名： 導(dǎo)師簽名： 日期： 要 人臉檢測肩負著在一幅輸入圖像中搜索并確定 人臉是否存在以及如果存在，確定人臉位置和大小的任務(wù)。本文針對當前主流 的基于統(tǒng)計學(xué)習(xí)和瀑布型分類器檢測框架的人臉檢測方法，在收集到更大規(guī)模樣本集的 基礎(chǔ)上，重新對當前主流的瀑布型分類器檢測和訓(xùn)練技術(shù)進行了系統(tǒng)分析。為了構(gòu)建面 對更加復(fù)雜樣本時速度更快、精度更準的檢測器，對主流瀑布型分類器訓(xùn)練和使用方法 進行一系列的改進。這些方法可以概括為三個方面：降低瀑布型分類器的訓(xùn)練負擔并提 高檢測精度，提高瀑布型分類器的檢測速度，優(yōu)化瀑布型分類器的速度 精度的折中調(diào)節(jié)算法。 首先，為了解決存在大規(guī)模訓(xùn)練人臉樣本集和 非人臉樣本集的情況下，瀑布型分類器訓(xùn)練所需要的時間代價過高的問題，提 出了訓(xùn)練過程中對正例樣本和反例樣本交叉自舉的矩陣式學(xué)習(xí)算法。簡單說來，對于瀑 布式分類器，矩陣式學(xué)習(xí)并不僅在相鄰的子分類器間對巨大的反例樣本集進行“自舉” ，在每個子分類器的學(xué)習(xí)過程中，對大規(guī)模正例樣本集也進行自舉以降低學(xué)習(xí)中直接使用 的訓(xùn)練正例樣本集大小。當然，矩陣式學(xué)習(xí)并不只是簡單的對正例樣本和反例樣本進行 自舉，針對矩陣式學(xué)習(xí)中的交叉自舉，進一步提出了累加式樣本自舉方法和特征繼承技 術(shù)。在自舉過程中，相鄰的子分類器的共享信息被用來進行更加快速的學(xué)習(xí)，這些共享 信息包括兩個方面，分類器中已經(jīng)學(xué)到的特征和已經(jīng)自舉得到的樣本。 其次，提出一種更加高效的非人臉窗口預(yù) 排除方法，進一步提高了人臉檢測的速度，這包括了一種新的特征局部組合二值 特征，以及相應(yīng)的以特征為中心的瀑布型檢測算法。在提出的非人臉窗口預(yù)排除方法中 ，特征計算方式更加簡單，避免可能重復(fù)的特征計算。局部組合二值特征的基本單元是 二值特征，二值特征是圖像上相鄰區(qū)域間灰度差異的二值信息，即像 征那樣的多個區(qū)域間對比的更“黑”更“白”關(guān)系。局部組合二值特征是組合二值特征的一個有效 子集，而組合二值特征表示的是多個不同二值特征值共生的信息。在局部組合二值特征 中，組合的方式被限制在類似局部二值模式組合像素點時的方式，形成局部組合二值特 征。局部組合二值特征數(shù)目少，描述能力強，被用來進行預(yù)分類器的學(xué)習(xí)。預(yù)分類器采 用了一種類似“注意機制”的以特征為中心的瀑布型分類器運行技術(shù)，以特征為中心的 運行機制首先針對某個顯著特征模板對圖像每個位置計算出特征值，構(gòu)成特征圖像，然 后在窮舉窗口上應(yīng)用學(xué)習(xí)得到的本特征模板在各位置的統(tǒng)計信息，并進一步判斷窗口為 人臉或者非人臉。無論是賴以計算的特征模板還是窗口內(nèi)特征模板的統(tǒng)計信息都使用學(xué) 習(xí)的方法得到，具體來說，最終采用的模板是多個候選得到的最優(yōu)模板，統(tǒng)計信息是 習(xí)得到的瀑布型分類器。 最后，提出一種基于搜索的瀑布型分類器精度 速度的折中算法?；谝粋€已有的布型分類器，提出的方法能夠構(gòu)建多個速 度標準下的瀑布型分類器，使得人基于瀑布型分類器的人臉檢測研究： 摘要 獲得更優(yōu)的分類性能。構(gòu)建算法對構(gòu)成瀑布型分類器的強分類器閾值空間進行搜索， 以獲得計算代價更優(yōu)的瀑布型分類器。為了降低搜索的計算代價，搜索開始于正例分類 正確率為百分之百的瀑布型分類器，以后每一輪的運行在當前瀑布型分類器基礎(chǔ)上，搜 索進一步損失小部分正例分類正確率條件下所有可能的瀑布型分類器，并獲得當前計算 代價最小的瀑布型分類器。然后，在當前獲得的瀑布型分類器基礎(chǔ)上，迭代運行，直到 獲得的瀑布型分類器正例分類正確率達到用戶指定的正例分類正確率。 本文提出的方法在包括正面人臉檢測和常用的 多姿態(tài)范圍內(nèi)的人臉檢測問題進行了實驗，與別的已經(jīng)公開發(fā)表過的相關(guān)工作 相比，在已公開的標準人臉測試集上的實驗結(jié)果表明，本文算法在精度方面具有優(yōu)勢，同時，在一幅 320 240 的圖像上，多姿態(tài)人臉檢測可以達到近實時的應(yīng)用需求。 關(guān)鍵詞 ：人臉檢測；瀑布型分類器；二值 特征；大規(guī)模樣本集；自舉 y in an or if of an at we be of to In as at of we of To of of we a as an by SL in a an is to SL by we a is a is to a of a as SL is to of In a of is to to to of is a is to an is to an we by to on we to of is to We to To is 于瀑布型分類器的人臉檢測研究： . In of is a of of is is a is to we in of of in in of of To on on of or by as to At on a on 目 錄 摘 要. I 目 錄.目錄.目錄.一章 引言. 1 臉檢測的研究背景、內(nèi)容及意義 . 1 臉檢測面臨的困難 . 3 臉檢測的研究現(xiàn)狀 . 5 文研究問題的提出 . 18 文的主要貢獻及章節(jié)安排 . 19 第二章 人臉檢測數(shù)據(jù)集制備及檢測性能評估. 23 據(jù)集收集 . 23 臉樣本的制作 . 24 臉樣本對齊 . 24 臉樣本生成 . 26 臉樣本的人工凈化 . 31 例數(shù)據(jù)集 . 34 臉檢測算法的性能評估 . 36 結(jié) . 37 第三章 面向大規(guī)模訓(xùn)練樣本集的矩陣結(jié)構(gòu)瀑布型分類器學(xué)習(xí). 39 布型分類器檢測框架基礎(chǔ) . 39 向大規(guī)模訓(xùn)練樣本的矩陣式學(xué)習(xí) . 40 舉正例樣本 . 42 加式樣本自舉方法 . 45 論：另一種計算復(fù)雜度高的算法 . 45 征繼承 . 47 驗 . 48 驗設(shè)置 . 48 基于瀑布型分類器的人臉檢測研究： 目錄 面人臉檢測 . 49 姿態(tài)人臉檢測 . 52 結(jié) . 53 第四章 局部組合二值特征及快速預(yù)處理分類器. 61 粗到細的人臉檢測系統(tǒng)框架 . 61 部組合二值特征 . 63 值 征 . 63 合二值 征 . 64 部組合二值特征 . 65 用局部組合二值特征進行人臉檢測 . 66 特征為中心的檢測方法 . 66 特征為中心的瀑布型預(yù)分類器 . 69 窗口為中心的深入處理分類器 . 70 姿態(tài)人臉檢測上的應(yīng)用 . 71 驗配置和實驗結(jié)果 . 71 驗配置 . 72 部組合二值特征在正面人臉上的分辨能力調(diào)查 . 72 面人臉檢測 . 73 姿態(tài)人臉檢測器 . 75 結(jié) . 76 第五章 基于搜索的瀑布型分類器構(gòu)建方法. 83 布型分類器中的特征 . 84 度指定條件下瀑布型分類器速度優(yōu)化 . 86 布型分類器的計算復(fù)雜度 . 86 同檢測精度計算復(fù)雜度優(yōu)化 . 87 展：基于每個弱分類器的瀑布型分類器調(diào)節(jié)算法 . 90 例樣本集重采樣 . 91 驗 . 91 入瀑布型分類器 . 91 面人臉檢測 . 91 姿態(tài)人臉檢測 . 92 結(jié) . 93 第六章 人臉檢測原型及系統(tǒng)實現(xiàn). 95 態(tài)鏈接庫 塊實現(xiàn) . 95 基于瀑布型分類器的人臉檢測研究： 目錄 姿態(tài)人臉檢測視頻演示系統(tǒng) . 96 結(jié) . 97 第七章 總結(jié)與展望. 99 結(jié) . 99 望 . 101 參考文獻. 103 致 謝. i 作者簡介. 臉檢測在相關(guān)研究學(xué)科中的地位 . 2 圖 臉檢測結(jié)果圖示 . 3 圖 然圖片中的“疑似人臉”示例 . 4 圖 臉檢測中常用的金字塔式搜索 . 5 圖 于“窮舉窗口搜索”策略的人臉檢測系統(tǒng)流程圖 . 6 圖 人建立的人臉和非人臉簇 . 8 圖 人建立的人臉檢測框架 . 9 圖 人提出的 征 . 10 圖 分圖及其矩形內(nèi)像素灰度和的快速計算示意圖 . 10 圖 人提出的擴展 征 . 提出的旋轉(zhuǎn) 征 . 等提出的擴展 征 武 05. 12 圖 i 等提出的擴展 征 . 12 圖 提出的擴展 征 . 12 圖 分類器的類型 (a) 刀切式閾值型 (b) 均勻劃分的分段信度函數(shù) (c)非等區(qū)間閾值型函數(shù) . 14 圖 1. 16 瀑布式分類器 . 17 圖 入式瀑布型分類器 . 17 圖 文使用的 15 種多姿態(tài)人臉類別 . 24 圖 同研究者使用的正面人臉訓(xùn)練樣本實例 . 25 圖 文使用的正面樣本剪切方案 . 25 圖 面豎直和人臉樣本示例 . 27 圖 面左傾斜人臉樣本示例 . 27 基于瀑布型分類器的人臉檢測研究： 圖目錄 面右傾斜人臉樣本示例 . 27 圖 半側(cè)豎直人臉樣本示例 . 28 圖 半側(cè)左傾斜人臉樣本示例 . 28 圖 半側(cè)右傾斜人臉樣本示例 . 28 圖 半側(cè)豎直人臉樣本示例 . 28 圖 半側(cè)左傾斜人臉樣本示例 . 29 圖 半側(cè)右傾斜人臉樣本示例 . 29 圖 全側(cè)豎直人臉樣本示例 . 29 圖 全側(cè)左傾斜人臉樣本示例 . 29 圖 全側(cè)傾斜人臉樣本示例 . 30 圖 全側(cè)豎直人臉樣本示例 . 30 圖 全側(cè)左傾斜人臉樣本示例 . 30 圖 全側(cè)右傾斜人臉樣本示例 . 30 圖 面人臉樣本集中不期望出現(xiàn)的和期望出現(xiàn)的一些樣本 . 31 圖 工凈化樣本工具之打開文件 . 32 圖 工凈化樣本工具之直方圖均衡化顯示按鈕 . 33 圖 工凈化樣本工具之直方圖均衡化顯示 . 3