（計算機系統(tǒng)結(jié)構(gòu)專業(yè)論文）基于地形學標定的人眼精確定位算法研究.pdf

上海大學碩士學位論文 ! ! ! ! ! ! ! q 墮! ! 型! ! ! 竺墮型! ! ! 1 9 1 型! ! ! ! 堡墮 摘要 人臉檢測是指通過對輸入圖像進行分析，確定其中人臉的數(shù)目、大小、位 置、姿態(tài)等信息的過程。人臉檢測作為人臉識別的先期工作，是計算機模式識 別領域研究熱點，涉及模式識別、圖像處理、生理學、心理學、認知科學等許 多領域。由于人機交互、安全監(jiān)測等應用的日益廣泛，這使得人臉檢測技術的 研究越來越重要。 目前人臉檢測方法可歸類基于圖像塊、基于模版匹配、特征不變和基于知識 四種。其中基于特征不變的算法，首先用各種數(shù)字圖像處理方法對輸入圖像進行 處理，根據(jù)結(jié)果提取某些特征與人臉某些共性特征進行比較，繼而判斷某一區(qū)域 是否為人臉。其中眼睛這一器官有著舉足輕重的作用，只要眼睛被精確定位，再 輔助用臉部其他器官，如眉、鼻、嘴等信息，就可以比較準確的定位出人臉位置。 利用地形學標定的相關理論，本文介紹了一種新的眼睛定位算法。該算法是 基于圖像成像過程中，瞳仁對光源會有不同程度的反射，會有明顯的亮斑效應的 光學原理而提出來的。用地形學方法對灰度圖像進行標定，眼睛部位會呈現(xiàn)地形 學標定中山谷點的典型特征。文章首先利用地形學標定算法找到灰度圖像中眼睛 的所有候選點位置集合：然后利用眼睛本身固有的灰度、幾何信息構(gòu)造了若干條 篩選規(guī)則對候選眼睛對集合進行精簡操作；通過研究各種投影函數(shù)在眼睛對窗口 的特點，作者發(fā)現(xiàn)眼睛區(qū)域積分投影和方差投影的極大值和極小值位置會呈現(xiàn)一 定特征，而構(gòu)造出了積分投影的極大值點、方差投影的極小值點和候選眼睛點三 者位置在一定容忍區(qū)域之內(nèi)的眼睛對驗證規(guī)則。最后運用該驗證規(guī)則對精簡后的 眼睛對進行了驗證，達到了精確定位眼睛的目的。 實驗表明，本文提出的眼睛定位算法，在現(xiàn)在的實驗數(shù)據(jù)下具有較高的正確 定位率和魯棒性，而且可以較好地、快速地定位出單一背景或者復雜背景中單一 人臉圖像中的眼睛。對于多臉孔的圖像，也有較好的定位效果。 關鍵詞：人臉檢測，眼睛定位，地形學標定 v 上海大學碩士學位論文 ! 墮! ! 墜2 1 1 1 1 1 塑墮! ! 堡墮! ! ! ! g ! 型! ! ! ! ! ! ! ! 墮 a b s t r a c t f a c ed e t e c t i o ni st h ep r o c e s so fs e a r c h i n gh u m a nf a c e si na ni m a g e a st h e p r e v i o u ss t e po ff a c er e c o g n i t i o n , f a c ed e t e c t i o ni sr e l a t e dt ot h ef i e l d so fp a t t e m r e c o g n i t i o n , i m a g ep r o c e s s i n g ，p h y s i o l o g y ，c o g n i t i v es c i e n c ee t c o v e rt h ep a s tt e n y e a r sf a c ed e t e c t i o nh a sb e e nt h o r o u g h l ys t u d i e di nc o m p u t e rv i s i o nr e s e a r c hf o ri t s i n t e r e s t i n ga p p l i c a t i o n s ，s u c ha sf a c er e c o g n i t i o ns y s t e m ，s u r v e i l l a n c es y s t e ma n d m a c h i n ei n t e r f a c e m a n ya l g o r i t h m sh a v eb e e ng o tt h r o u g hd e c a d e sy e a r so fs t u d y i ng e n e r a l l y ， t h e r ea r ef o u rt y p i c a lf a c ed e t e c t i o nm e t h o d si n c l u d e db a s e do nm u l t i p l et e m p l a t e s ， b a s e do na p p e a r a n c e ，b a s e do nk n o w l e d g ea n db a s e do ni n v a r i a n t u s i n gd i g i t a l i m a g ep r o c e s s i n gt e c h n i q u e st oe n h a n c et h eq u a l i t yo ft h eo r i g i n a li m a g e ，s e a r c h i n g s o m ef a c i a lf e a t u r e si nt h ei m a g ea n dc o m p a r i n gt h o s ef e a t u r e s 、i t l lt h ef e a t u r e so f s t a n d a r df a c i a lm o d e l ，a n dl o c a t i n gt h ee x i s t e df a c i a lp o s i t i o ni nt h eo r i g i n a li m a g e a r et h r e ek e ys t e p si nt h ei n v a r i a n tb a s e dm e t h o d s t h ee y e sh o l dt h eb a l a n c ei na l l f a c i a lf e a t u r e s i fp r e c i s el o c a t e dt h ee y e s ，w ec a b c o m p u t et h ep o s i t i o n so fo t h e r f a c i a lf e a t u r e s ，s u c ha se y e b r o w s ，e y e s ，n o s ea n dm o u t h ，w i t ht h eh e l po ft h ep r i o r i k n o w l e d g eo fg e o m e t r i c a lf a c i a lf e a t u r e s s oe y el o c a t i n gi st h u sav e r yc r u c i a ls t e p i nt h ef a c ed e t e c t i o n a sw ek n o w ，b e c a u s eo ft h es p e c i f i cr e f l e c t i o nc h a r a c t e r i s t i co fp u p i l ，t h ee y e c e n t e re x h i b i t sf u s c o u sw h i l et h ei r i sa p p e a r sb r i g h t i fag r a y s c a l ei m a g ei st r e a t e d a sa3 dt o p o g r a p h i cs u r f a c ew i t ht h eh e i g h to fe a c hl o c a t i o nb e i n gd e n o t e db yt h e i n t e n s i t yo f t h ec o r r e s p o n d i n gp i x e l ，t h ee y er e g i o nw i l ls h o wac e r t a i nt e r r a i np a t t e r n i np a r t i c u l a r ，t h ec e n t e rc o n s i s t so fp i t - p i x e l s ，s u r r o u n d e db yh i l l s i d e - l i k er e g i o n s i n t h i sp a p e ran e wm e t h o df o ra u t o m a t i c a l l yl o c a t i n gh u m a ne y e si ng r a y s c a l es t i l l i m a g e si sp r e s e n t e d f i r s t ，b yu s i n gt o p o g r a p h i cf e a t u r eo fe y e s ，t h ee y e sc a n d i d a t e s i nt h e 掣a yi m a g ea r el a b e l e d t h e nd i l a t et h es m o o t h e dp i c t u r e sa n du s es o m e r e g u l a t i o n sb a s e do nt h ee y e sg e o m e t r i c a la n dg r a y s c a l ef e a t u r e st os c r e e no m m o r e r e f i n e de y e sp a i r s a f t e ra n a l y z e dt h er e s u l t so f e x p e r i m e n tw ef o u n dt h ep o s i t i o n so f t h et h r e ep o i n t s ( t h em a x i m a lp o i n to fm p f ，m i n i m a lp o i n to fv p fa n dt h ee y e s c a n d i d a t ep o i n t ) b o u n d e di naf i x e dr a n g e s ow ef o r m e di tt oar e g u l a t i o nw h i c hw e e m p l o y e dt op e r f o r me y ev a l i d a t i o ni no b ra l g o r i t h m i ti sp r o v e dt h a tt h ec o r r e c tr a t eo fe y e sl o c a t i o ni sv e r yh i g hb yn e wm e t h o d v l 上海大學碩士學位論文 ! ! ! ! ! ! 塑墮! 塑! ! ! ! ! ! 墮型! ! ! ! g ! 型! ! ! ! ! ! ! ! 墮 b a s e do ne x p e r i m e n t a ld a t a w h a t sm o r e ，t h en e wm e t h o di se a s yt or e a l i z ea n di s q u i c k e ri nv e l o c i t y a n de x p e r i m e n t a ld a t aa r ep r o p o s e di nt h ep a p e r k e y w o r d s ：f a c ed e t e c t i o n ，e y e sl o c a t i o n ，t o p o g r a p h i cl a b e l i n g v i i 上海大學碩士學位論文 ! ! ! ! ! ! 墮! ! ! ! 型! ! ! ! ! ! ! ! ! 塑! 墮! 墅! ! ! ! ! ! ! 墮 原創(chuàng)性聲明 本人聲明：所呈交的論文是本人在導師指導下進行的研究工作。 除了文中特別加以標注和致謝的地方外，論文中不包含其他人已發(fā) 表或撰寫過的研究成果。參與同一工作的其他同志對本研究所做的 任何貢獻均已在論文中作了明確的說明并表示了謝意。 本論文使用授權(quán)說明 期：塑! ：竺 本人完全了解上海大學有關保留、使用學位論文的規(guī)定，即： 學校有權(quán)保留論文及送交論文復印件，允許論文被查閱和借閱：學 ?？梢怨颊撐牡娜炕虿糠謨?nèi)容。 ( 保密的論文在解密后應遵守此規(guī)定) 簽名：呈盈墮導師簽名： i i 上海大學碩士學位論文 ! ! ! ! ! ! 墮! ! ! ! ! 塑! ! ! ! ! ! 墮曼! ! 1 9 1 型! ! ! 堡堡! 墮 第一章緒論 本章前兩節(jié)通過回顧人臉檢測的背景知識及研究現(xiàn)狀，簡要闡述了眼睛定 位在人臉檢測中的研究價值，即本論文選題背景和研究意義。第三節(jié)介紹現(xiàn)有 的一些人臉庫，最后在第四節(jié)中介紹本文工作內(nèi)容及后續(xù)章節(jié)的安排。 1 1 課題意義和背景 生物識別技術( b i o m e 仃i ci d e n t i f i c a t i o nt e c h n o l o g y ) 是利用人體生物特征進 行身份認證的一種技術。用于生物識別的生物特征有手形、指紋、臉形、虹膜、 視網(wǎng)膜、脈搏、耳廓等，行為特征有簽字、聲音、按鍵力度等?；谶@些特征， 人們已經(jīng)發(fā)展了手形識別、指紋識別、人臉識別、發(fā)音識別、虹膜識別、簽名識 別等多種生物識別技術。 其中，人臉識別技術( f a c er e c o g n i t i o nt e c h n o l o g y ) 是一種依據(jù)人的面部特 征來自動進行身份鑒別的先進生物識別技術。與其它較成熟的人體生物特征識別 方法( 如指紋、d a n 檢測等) 相比，這種技術具有使用方便、不易假冒、識別精度 高、直觀性突出、基礎資料容易獲得和成本低等特點，備受學術界關注。尤其是 進入2 0 世紀9 0 年代，由于高速度高性能的計算機的出現(xiàn)，人臉識別的方法有了重 大突破，人臉識別研究得到了前所未有的重視。 人臉識別包括三個技術環(huán)節(jié)：人臉檢測、人臉特征提取和人臉識別與驗證。 人臉檢；狽l j ( f a c e d e t e c t i o n ) 是指在給定圖像中，確定人臉( 是否含有) 位置、 大小和姿態(tài)等信息的過程。人臉檢測問題最初起源于人臉識別，是自動人臉識別 系統(tǒng)中的一個關鍵環(huán)節(jié)。 早期人臉識別主要針對約束較強的圖像，人臉位置容易獲得，因此人臉檢測 沒有得到重視。但隨著人臉識別應用背景的發(fā)展，所識別的圖像背景越來越復雜， 使得人臉檢測單獨成為一個獨立的課題，備受研究者的重視。 今天，人臉檢測的應用背景已經(jīng)遠遠超出了人臉識別系統(tǒng)的范疇，在基于內(nèi) 容的檢索、數(shù)字視頻處理、視覺監(jiān)測等方面有著重要的應用價值。 上海大學碩士學位論文 ! 墮! ! ! 墮曼! ! 苧! ! ! ! ! ! ! 垡! ! ! 盟! 型! ! ! ! ! ! 墮 目前，國內(nèi)外對人臉檢測問題研究很多，例如美國的m i t ，c m u ，y a l e 等。 國內(nèi)的有清華大學，北京工業(yè)大學，中科院計算所和中科院自動化所等研究機構(gòu)。 隨著人臉檢測研究的深入，國內(nèi)外發(fā)表的有關論文數(shù)量也大幅度增長。許多重要 的國際會議和期刊都也都涉及到人臉檢測問題的研究論題。所涉及的人臉檢測算 法已經(jīng)有很多種，即便如此，由于人臉本身固有的特性，很難建立一個評價各種 算法的公認體系。 由于人臉非剛性特性與成像環(huán)境多樣性，使得人臉檢測成為一個具有挑戰(zhàn)性 的復雜的模式檢測問題。其復雜性主要體現(xiàn)在下面幾個方面： 1 ) 人臉由于外貌、膚色、表情等不同，表現(xiàn)出來的特征各不相同，不可 能用同一模式去表達： 2 ) 存在眼鏡、頭發(fā)和頭部飾物以及其他外部物體的附屬物的遮擋； 3 ) 成像角度的不同造成拍攝出來的人臉的姿態(tài)也各不相同； 4 ) 光照的影響，如圖像中的亮度、對比度的變化和陰影等。 5 ) 圖像的成像條件，如攝像設備的焦距、成像距離，圖像獲得的途徑等。 這些都為解決人臉檢測問題造成了難度。如果能夠找到一些相關的算法并 能在應用過程保證實時性，將為成功構(gòu)造出具有實際應用價值的入臉檢測與跟 蹤系統(tǒng)提供保證。 目前入臉檢測方法可歸類基于圖像塊、基于模版匹配、特征不變和基于知 識四種。眼睛在人臉各個特征中處于關鍵地位，只要眼睛被精確定位，再輔助 用臉部其他器官，如眉、鼻、嘴等信息，就可以比較準確的定位出入臉位置。 這種基于特征不變的人臉檢測算法，具有姿勢、觀察點、光照條件改變的情況 下保持不變的優(yōu)點。為本文提出的基于地形學標定的人臉眼睛的精確定位算法， 提供了一個很好的應用環(huán)境，這也是本論文進一步研究的方向。鑒于此，本章 下面將對人臉檢測研究現(xiàn)狀做了進一步介紹。 1 2 人臉檢測研究現(xiàn)狀 人臉檢測按照采集圖像方式分為靜態(tài)檢測和動態(tài)檢測。靜態(tài)檢測是從靜態(tài)圖 片或者視頻序列中找出人臉，如果存在人臉，則輸出人臉的數(shù)目、每個人臉的位置 2 上海大學碩士學位論文 ! 壘曼! 呈壁壘塑壁! 苧墮! 皇曼! 墮墮曼塑璺旦旦壘苧! 竺旦唑壁墮 及其大小。動態(tài)人臉跟蹤則是在已檢測到的人臉信息基礎上，在后續(xù)的視頻圖像 中繼續(xù)捕獲人臉的位置及其大小等性質(zhì)，以達到跟蹤識別的目的。 按照采集到的圖像又可將人臉檢測大致分為如下三個不斷深入的階段：1 ) 單一背景單人臉的人臉檢測：2 ) 復雜背景單人臉的人臉檢測；3 ) 復雜多人臉的 人臉檢測。 一般而言人臉檢測的框架如下： 圖1 1 人臉檢測的基本框架 縱觀人類檢測研究歷史，按照時間次序可以將人臉檢測分為萌芽期，發(fā)展 及應用期。 早在1 9 世紀，英國科學家、探險家和人類測量學家g a l t o n 就曾經(jīng)用一組 數(shù)字代表不同的人臉側(cè)面特征【l 】。在這一時期，學者致力于尋求人臉的顯著特 征，從圖像處理、統(tǒng)計學等角度進行探討，試圖用盡可能少的人臉特征表示方 法來表達人臉特征。這一階段具有代表性的研究有：m i t 的s u n g 等提出的基 于樣本學習的方法 2 1 。mhy a n g 提出了一種基于s n o w ( s p a r en e t w o r ko f 、) l ，i 衄o w s ) 的學習體系f 3 】，用于檢測具有不同特征、表情、姿態(tài)和光照條件下的 人臉。 9 0 年代以后，研究者開始結(jié)合多種分類算法與人臉特征進行人臉檢測。概 括起來主要有以下方法： 1 ) 基于知識的人臉檢測算法。這種方法中人臉檢測是基于研究者對人臉的 上海大學硬士學位論文 一一! 生! ! 也塑! ! 坐! ! ! ! 堡! ! ! ! ! 盟! ! ! ! ! 墮堡墮 ： 先驗知識。研究者把這些先驗知識歸結(jié)成一些規(guī)則。 例如人臉中包括兩只幾何對稱的眼睛，眉毛在眼睛的上方，嘴巴在鼻子下面 的面部生物特征等。通常，先驗知識包含了這些人臉特征之間的相互關系。比較 著名的文獻有，y a n g 等【4 】首先提出采用由粗到細的三級結(jié)構(gòu)的方法檢測人臉。原 始圖像作為系統(tǒng)的輸入，在第一層中，通過一些規(guī)則，在整幅圖像的范圍檢測可 能的人臉區(qū)域。在第二層，在第一層的檢測地候選區(qū)域基礎上運用更加詳細的面 部特征信息，進行進一步檢測。第三層，在第二層檢測的人臉候選區(qū)域內(nèi)部進行 直方圖均衡化，如果被測出的結(jié)果法和面部特征，那么人臉就被檢測出來了。對 于正面人臉情況，該方法可以有效降低誤檢率，并可以提供個有效的驗證機制， 但對于其它視角的人臉，該方法就沒有較好的解決辦法了。 2 ) 特征不變的人臉檢測算法。這些算法首先用各種數(shù)字圖像處理方法對輸 入圖像進行處理，根據(jù)結(jié)果提取某些特征與人臉某些共性特征進行比較，繼而判 斷某一區(qū)域是否為人臉。 例如雙眼是人臉的突出特征，它們在人臉中占據(jù)比較固定的位置，雙眼間的 距離刻畫了人臉的大小。如果我們根據(jù)眼睛特征，精確定位出了眼睛位置，這樣 也就找到了臉相檢測的目的。j e n g 等( 5 1 根據(jù)可能的眼睛對獲得人臉候選區(qū)域，用 一個評估函數(shù)表示每個區(qū)域?qū)儆谀硞€特征的可信度，根據(jù)評估函數(shù)的加權(quán)和確定 人臉區(qū)域。 基于特征不變的人臉檢測算法方法具有姿勢、觀察點、光照條件改變的情 況下保持不變的優(yōu)點。 3 ) 基于模版匹配的人臉檢測算法。這種方法首先是建立人臉的一些標準模 版，可以是人臉輪廓，單獨眼睛、嘴巴、鼻子等模版，用來描述整張人臉或人臉 的部分特性。然后利用一些算法來計算輸入圖像待測區(qū)域與已經(jīng)存儲的標準模版 之間的相似程度來進行檢測。b r u n e l i 等【6 】建立了一個標準眼睛模板，利用它來定 位眼睛的位置，他們采用五個不同尺度的眼睛模板，在輸入圖像中搜索眼睛。 g o v i n d a r a j u 等t - q ，使用變形模板( d e f o r m a b l et e m p l a t e ) 匹配頭頂輪廓線和左右兩條 面頰輪廓線，實現(xiàn)人臉定位。 基于模板匹配的方法具有直觀，簡單的優(yōu)點，但是搜索計算時間復雜度比較 4 上海大學碩士學位論文 ! 墮! ! ! ! 旦! ! ! ! 坐! ! ! ! 堅! ! ! ! ! ! g 墮! 坐! ! 墅墮 高。 4 ) 基于圖像塊的人臉檢測算法。這種方法主要是通過大量學習來制作模 版。注意模版匹配中的模板主要是由手工制作出來的，這里的模版是從一組訓 練圖像經(jīng)過學習而得來的。通常來說，基于圖像塊的人臉檢測方法的效率以來 于統(tǒng)計數(shù)據(jù)的分析及機器學習。這些圖像應該包括人臉外觀的具有代表性的變 化因素。這些方法主要用于人臉檢測。 最近屬于這類方法范疇研究比較活躍，包括主成分分析方法，支持向量機， 神經(jīng)網(wǎng)絡等等，其大體思路是先利用主成分分析方法、支持向量機、神經(jīng)網(wǎng)絡 方法等將待測圖像映射低維空間，然后通過決策面將人臉與非人臉分開。比較 著名例子有，2 0 0 1 年，p v i o l a 發(fā)表的文章【8 1 。在v i o l a 的文章中，他不再尋求 強的，復雜的人臉特征表示方法，分類器由一組簡單的快速的弱分類器結(jié)合而 成，最后再綜合a d a b o o s t 和c a s c a d e ( 層疊) 算法1 9 實現(xiàn)了實時的人臉檢測系 統(tǒng)，從面使得人臉檢測真正地走向?qū)嵱谩Ｄ壳?，在i n t e l 開發(fā)的o p e n c v 函數(shù)庫 中，實現(xiàn)了這一算法，己在許多領域得到應用，包括視頻序列的處理。 上述各種算法都有自身的優(yōu)缺點和適用范圍，由于學者的在各自領域的潛 心鉆研，也發(fā)明了許多卓有成效的檢測算法。 總得來說，現(xiàn)有的人臉檢測方法可以分為兩大類，基于規(guī)則的方法和基于 統(tǒng)計的方法。下面我們對這兩類方法做個總結(jié)： 1 ) 基于規(guī)則的方法 基于知識的方法一般先提取各種基本特征，然后根據(jù)些知識規(guī)則確認圖 像中是否包含人臉。這些規(guī)則可以通過人的先驗知識獲得，也可以通過大量樣 本學習獲得。 這類方法具有直觀、直接、簡單的優(yōu)點，并且不需要訓練樣本，對任意情 況下的人臉只要建立起相應的規(guī)則，就可以按照這些規(guī)則來檢測人臉。比較適 合于人臉圖像分辨率比較高，人臉比例較大的情況。 2 ) 基于統(tǒng)計的方法 基于統(tǒng)計的方法一般是通過對大量人臉樣本和非人臉樣本的學習得到一組 模型參，然后基于模型檢測人臉。為了檢測大小不同的人臉，通常采用由粗到細 上海大學碩士學位論文 ! ! ! ! ! 竺! 窒翌! ! ! 堡! ! ! ! ! ! 垡! ! ! 1 2 1 型! ! 墮! 堡墮 的分級策略進行處理。對每個分級圖像，采用一個固定大小的窗口，通過滑動窗 口抽取圖像上的不同區(qū)域，進行光照校正、直方圖修正等預處理后再進行判決。 最后需要合并同一位置上多個不同分級檢測到的人臉區(qū)域。 這類算法具有較強的魯棒性，適應于復雜背景圖像的人臉檢測。但這一方法 也存在著缺陷，統(tǒng)計模型的建立需要較為一致的訓練樣本。獲取有效的“非人臉” 樣本有很大的困難。另外，檢測速度很慢，計算復雜度很高，對于有視角的人臉， 一般沒有有效的手段予以解決等等問題的存在。 基于規(guī)則的檢測方法和基于統(tǒng)計的檢測方法通常需要結(jié)合起來使用。通過采 用簡單的特征濾除大量的候選區(qū)域，然后采用基于統(tǒng)計特征的方法進行人臉檢 測，檢測速度會提高很多。也可以先采用統(tǒng)計的方法檢測出人臉候選區(qū)域，然后 基于人臉特征進行確認，降低誤檢率。 我們不得不承認，各種算法都存在著效率與性能上的矛盾。效率與性能本 質(zhì)上是對立的，不可調(diào)和的一對矛盾體。在這個對立的前提下盡可能尋找性能 與效率的最佳結(jié)合點，使檢測系統(tǒng)從整體上達到最優(yōu)，一直是人臉檢測科研工 作者的追求目標。 1 3 人臉圖像數(shù)據(jù)庫 在人臉檢測與識別的時候，有一系列用于算法比較的人臉庫。國際上許多 人臉識別小組都收集了自己的人臉數(shù)據(jù)庫，一般人臉庫容量不大，最常見的人 臉庫，包括不到5 0 0 幅人臉圖像，如m i t ，y a l e ，c m u ，o r l 等人臉庫均為小 型庫。因為這些數(shù)據(jù)庫是為了特定領域的人臉識別算法而建立的，因此不同的 識別程序之間很難進行比較。所以，我們首先來看一看這些數(shù)據(jù)庫的特點和它 在人臉檢測方面的應用。 f e r e t 數(shù)據(jù)庫【l o 】是由美國國防部建立起來的通用人臉庫，該f e r e t 庫可 用來評估不同人臉檢測的強度和缺點。由于f e r e t 庫中包括軍人的圖片，不能 在美國以外獲得，因此其他國家的研究只能采用本地的人臉庫。 y a l e 數(shù)據(jù)庫【l l 】是由p n b e l h u m e u r 等人于1 9 9 7 年用來進行不同光照條件下 人臉識別而創(chuàng)建的，該數(shù)據(jù)庫包括1 5 人總共1 6 5 幅灰度圖像，每人在不同光照 6 上海大學碩士學位論文 ! ! ! ! ! 塾9 1 1 1 1 1 塑! ! ! ! ! ! 型! ! ! ! g ! 型! ! 唑堡墮 模型下( 正光，左側(cè)光，右側(cè)光) ，不同表情( 高興，正常，悲傷，疲倦，驚異 和眨眼) 和不同臉部妝飾( 戴眼鏡和不戴眼鏡) 十一張圖像。 u m i s t 數(shù)據(jù)庫i l2 l 由2 0 個在不同姿勢下的5 6 4 幅圖片組成，每一組圖片都 有從右到正面的姿勢，這2 0 個圖像涵蓋了不同種族，性別，面貌特征的情況。 b i o l d 人臉庫【l3 l 共包含2 3 個不同人物的1 5 2 1 張正面人臉灰度照片，照片 中的人物大部分為歐美人，每張照片的解析度為3 8 4 * 2 6 8 。人臉圖像在不同季 節(jié)，地點采集。光線，背景，人臉大小均有較大變化。 國內(nèi)現(xiàn)在有南京理工大學的彩色人臉庫。 本文選用的是b i o l d 數(shù)據(jù)庫作為單目標多背景的檢測數(shù)據(jù)庫。另外，單目 標單背景數(shù)據(jù)庫選用的是自建的人臉庫，而多目標多背景的樣本來自于互聯(lián)網(wǎng) 上的圖片與數(shù)碼相機采集的照片。 1 4 論文的主要研究內(nèi)容與組織框架 人臉檢測作為人臉信息處理中的一項關鍵技術，近年來成為模式識別與計算 機視覺領域內(nèi)一項受到普遍重視十分活躍的研究課題。 在人臉檢測的許多算法中眼睛定位是關鍵的第一步。因為與人臉其他部件如 鼻子、嘴巴相比，眼睛區(qū)域不僅包含了豐富的，區(qū)別于其它部位的重要信息，而 且是對圖像進行旋轉(zhuǎn)校正、歸一化和均衡化的前提，同時也是人臉其他部位檢測 和提取的基礎。 對于基于統(tǒng)計特征的人臉檢測和識別方法，首先必須定位眼睛后才能對圖像 進行旋轉(zhuǎn)校正、歸一化和均衡化：對于基于模板的人臉檢測和識別方法，也必須 首先粗定位眼睛，在此基礎上才能定位其它特征點，而且定位精度要盡量高。能 否準確地定位眼睛將直接影響特征點的整體定位質(zhì)量和識別的準確率。 本文的研究集中在探討眼睛的精確定位算法上。通過對地形學的灰度圖像標 定方法研究發(fā)現(xiàn)，眼睛部位的灰度圖像呈現(xiàn)典型的地形學標定中的谷點的特征。 基于此，本文提出了一種基于地形學標定的新的人眼定位算法，其基本思想是， 先利用地形學標定算法找到眼睛的候選點位置，然后利用眼睛本身的固有灰度， 幾何信息排除掉冗余的干擾點，緊接著利用投影函數(shù)對剩余的眼睛結(jié)點，進行驗 7 上海大學碩士學位論文 ! ! ! ! ! ! ! g 型! ! ! ! ! ! ! 坐! ! ! ! ! ! g ! ! ! ! 坐! ! ! 墮 證并精確定位。 實驗表明，本文提出算法有較高的識別率，且利用人臉的輪廓、對稱性臉和 五官分布特征還能夠在一定程度上適用于復雜背景圖像中的人臉檢測，同時達到 較高的檢測速度。 本文組織框架如下：第一章，介紹本課題的選題背景、目前研究狀況，并 概述了本文研究內(nèi)容。在第二章中簡單闡述了與人臉檢測相關的基礎理論和技 術。第三章介紹了眼睛定位的一些常用方法，如用模板匹配方法、神經(jīng)網(wǎng)絡方 法和圖像灰度信息方法等。第四章介紹了地形學標定的相關理論和算法。在第 五章詳細表敘了一種基于地形學標定的眼睛定位的新算法。第六章介紹了基于 地形學標定的眼睛定位系統(tǒng)的實驗設計和結(jié)果分析。最后在第七章，我們對論 文進行了總結(jié)，并對下一步的研究作了一個展望。 8 上海大學碩士學位論文 ! 壘皇! ! ! ! 望翌璺竺呈堡! 壘! ! 墮! ! 曼壘呈旦旦! 型竺! ! ! ! 堡墮 第二章人臉檢測相關技術 人臉檢測與眼睛定位的研究涉及模式識別、圖像處理、智能控制、生理學、 認知科學，與基于其它生物特征的身份鑒別方法以及計算機人機感知交互領域 都有密切聯(lián)系。本章將回顧與人臉檢測和眼睛定位相關的一些理論和技術。 由于攝制條件不同，如光照強弱以及設備優(yōu)劣的影響，往往存在噪聲或者 干擾，輸入的圖像( 如一張人臉圖像) 需要運用一定的技術來提高圖像質(zhì)量。 這些提高圖像質(zhì)量的操作，屬于圖像處理知識范疇，本章第一節(jié)對相關技術作 了簡要介紹。對于人臉檢測和眼睛定位來說，對初始圖像進行平滑處理，可以 大大降低噪音對圖像的影響，進而提高特征提取的精度。另外，圖像分割也是 人臉檢測的一項關鍵技術，目前學術界研究成果很多。如何選擇適當有效的平 滑、分割算法，是我們必須要面對的問題。所以本章第3 、4 節(jié)中將對這兩項技 術進行著重介紹。 人臉特征的描述，分類器的選擇等等都涉及到模式識別領域的知識。如果把 圖像中每個子圖都看作一個模式，則人臉檢測也是一個模式識別問題。近年來人 工神經(jīng)網(wǎng)絡已經(jīng)成功地應用在許多模式識別問題上，比如字符識別、目標識別和 自動機器人駕駛?；谏窠?jīng)網(wǎng)絡的方法是最近幾年人臉檢測領域研究的一個比較 活躍的方向。在本章的最后一節(jié)我們將對神經(jīng)網(wǎng)絡技術進行一個簡單的介紹。 2 1 圖像分析與處理技術 數(shù)字圖像處理( d i g i t a li m a g ep r o c e s s i n g ) 又稱為計算機圖像處理，它是指 將圖像信號轉(zhuǎn)換成數(shù)字信號并利用計算機對其進行處理的過程。 數(shù)字圖像處理作為一門學科大約形成于2 0 世紀6 0 年代初期。早期的圖像 處理的目的是改善圖像的質(zhì)量，它以人為對象，以改善人的視覺效果為目的。 圖像處理中，輸入的是質(zhì)量低的圖像，輸出的是改善質(zhì)量后的圖像，常用的圖 像處理方法有圖像增強、復原、編碼、壓縮等。 數(shù)字圖像處理主要研究的內(nèi)容有以下幾個方面：1 ) 圖像變換；2 ) 圖像編 9 上海大學碩士學位論文 ! ! ! ! ! ! 塑望! ! ! 堡堡! ! 墮! ! ! ! ! 1 9 1 型塑! 墮! 堡墮 碼壓縮；3 ) 圖像增強和復原：4 ) 圖像分割：5 ) 圖像描述；6 ) 圖像分類。 1 ) 圖像變換( i m a g et r a n s f o r m ) 主要是指幾何交換或空間變換，是種建 立一幅圖像與其變形后的圖像中所有各點之間映射關系的函數(shù)，可表示為： 或 【x ，y 】_ 【x ( u ，v ) ，r ( u ，v ) 】 【，川= 【u ( x ，y ) ，礦瓴y ) 】 ( 2 1 ) ( 2 2 ) 其中， 甜，y 】表示輸出圖像中像素的坐標，防，力表示輸入圖像中像素的坐標。j 、 】，、u 、礦為惟一確定空間變換的映射函數(shù)，即它們唯一地定義了輸入圖像和 輸出圖像中所有點之間的幾何對應關系。常見的變換包括，線形變換，傅里葉 變換( f o u r i e r t r a n s f o r m ) ，余弦變換，沃爾什變換，哈達瑪變換和k l 變換等 變換。 2 ) 圖像編碼壓縮( i m a g ec o m p r e s s i o n ) 是指盡可能少的比特數(shù)代表圖像或圖 像中所包含信息的技術。壓縮可以在不失真的前提下獲得，也可以在允許的失 真條件下進行。有損壓縮應用于一般圖像，如風景，人物照片，部分醫(yī)療圖像 等，如大家接觸的j p e g 圖像格式一般都是有損壓縮。無損壓縮應用于認證簽 名圖像處理和檔案圖像領域，醫(yī)療圖像也逐步采用無損壓縮方法。常有的壓縮 方法有：圖像變換、預測壓縮技術、自適應壓縮技術、彩色影像壓縮、二值影 像壓縮、游程編碼、“高頻分量”和“低頻分量”等。編碼是壓縮技術中最重要 的方法，它在圖像處理技術中是發(fā)展最早且比較成熟的技術。 3 ) 圖像增強( i m a g ee n h a n c e m e n t ) 是數(shù)字圖像處理過程中經(jīng)常采用的一種方 法。根據(jù)圖像的特點或存在的問題采取的改善方法或者加強特征的措施稱為圖像 增強。它的目的主要是提高圖像的可懂度。圖像增強的方法分為空域法和頻域法 兩類，空域法主要是對圖像中的各個像素點進行操作；而頻域法是在圖像的某個 變換域內(nèi)，對圖像進行操作，修改變換后的系數(shù)，例如傅里葉變換、d c t 變換等 的系數(shù)，然后再進行反變換得到處理后的圖像。 1 0 上海大學碩士學位論文 ! 墮! ! ! ! g 璺! ! ! ! ! ! ! ! ! ! ! 垡! ! ! 盟! 型! ! ! ! ! ! ! 墮 4 ) 圖像復原( i m a g er e s t o r a t i o n ) 是指將圖像已知降低因素去掉或減少。圖像 復原技術與增強技術不同，它需要了解圖像質(zhì)量下降的原因，首先要建立”降質(zhì) 模型”，再利用該模型，恢復原始圖像。 5 ) 圖像分割( i m a g es e g m e n t a t i o n ) 是指根據(jù)灰度、彩色、空間紋理、幾 何形狀等特征把圖像劃分成若干個互不相交的區(qū)域，使得這些特征在同一區(qū)域 內(nèi)，表現(xiàn)出一致性或相似性，而在不同區(qū)域間表現(xiàn)出明顯的不同。目前已研究 出不少邊緣提取、區(qū)域分割的方法，但還沒有一種普遍適用于各種圖像的有效 方法。因此，對圖像分割的研究還在不斷深入之中，是目前圖像處理中研究的 熱點之一。我們將在本章第三節(jié)中對圖像分割方法進行一個簡單的回顧。 6 ) 圖像描述( i m a g ec l a s s i f i c a t i o n ) 是圖像識別和理解的必要前提。作為 最簡單的二值圖像可采用其幾何特性描述物體的特性，一般圖像的描述方法采 用二維形狀描述，它有邊界描述和區(qū)域描述兩類方法。對于特殊的紋理圖像可 采用二維紋理特征描述。隨著圖像處理研究的深入發(fā)展，已經(jīng)開始進行三維物 體描述的研究，提出了體積描述、表面描述、廣義圓柱體描述等方法。 7 ) 圖像分類( i m a g ec l a s s i f i c a t i o n ) 根據(jù)各自在圖像信息中所反映的不同 特征，把不同類別的目標區(qū)分開來的圖像處理方法。圖像分類( 識別) 屬于模 式識別的范疇，其主要內(nèi)容是圖像經(jīng)過某些預處理( 增強、復原、壓縮) 后， 進行圖像分割和特征提取，從而進行判決分類。圖像分類常采用經(jīng)典的模式識 別方法，有統(tǒng)計模式分類和句法( 結(jié)構(gòu)) 模式分類，近年來新發(fā)展起來的模糊 模式識別和人工神經(jīng)網(wǎng)絡模式分類在圖像識別中也越來越受到重視。1 | 4 】【1 5 l 2 2 模式識別相關技術 模式識別( p a t t e nr e c o g n i t i o n ) 是指按模式抽象對事物或現(xiàn)象進行分類， 辨識類的特征而做出判斷的過程。模式識別是研究人類識別能力的數(shù)學模型， 并借助于計算機技術實現(xiàn)對其模擬的科學，其識別系統(tǒng)如圖2 - 1 所示。 如果模式是張臉，這就是人臉識別。它是一個具體的模式識別問題，要求 認識出每個人。當然廣義上的人臉識別系統(tǒng)還要分析人臉表情等。如果把圖像 上海大學碩士學位論文 ! ! ! ! ! 璺旦壁垡! 苧堡! 壘皇! 墮墮璺壘呈旦旦皇呈! 竺翌! ! ! 墮! 堡 中每個子圖都看作一個模式，則人臉檢測也是一個模式識別問題，要求正確得 把每個子圖模式歸入人臉區(qū)域類或非人臉區(qū)域類。 磊磐+ 圉摑扭避= 圖2 1 模式識別系統(tǒng) 模式識別誕生于2 0 世紀2 0 年代，隨著計算機與人工智能的興起，模式識 別在6 0 年代初迅速發(fā)展成為- - i - j 科學。幾十年來，模式識別研究取得了大量成 果，在很多地方得到了成功的應用f 1 6 】。 模式識別研究主要集中在兩方面，一是研究生物體( 包括人) 是如何感知對象 的，屬于認識科學的范疇，二是在給定的任務下，如何用計算機實現(xiàn)模式識別的理 論和方法。前者是生理學家、心理學家、生物學家和神經(jīng)生理學家的研究內(nèi)容， 后者通過數(shù)學家、信息學專家和計算機科學工作者近幾十年來的努力，已經(jīng)取得 了系統(tǒng)的研究成果。 模式識別的方法可以分為以下幾類f 1 7 1 ： 1 ) 統(tǒng)計模式識別。如果模式類實幾何可分的，則幾何可分類法按照某種距 離度量進行分類；若是幾何不可分的，則用概率分類法，如貝葉斯決策理 論。 2 ) 結(jié)構(gòu)模式識別。利用語法的遞歸性，用小而簡單的基元和語法規(guī)則來描 敘大而復雜的模式。 3 ) 模糊模式識別。對特征進行模糊化，可以更好地反映問題的本質(zhì)；對分 類結(jié)果模糊化，會更有利于下一級分類，因模糊化的分類結(jié)果比明確的分 類結(jié)果包含更多信息。另外，將模糊技術引入其它模式識別算法中，可對 它們進行改進，比如優(yōu)化的模糊c 均值分類法、模糊k 近鄰分類器。 4 ) 智能模式識別。用神經(jīng)網(wǎng)絡( 主要) 或邏輯推理。 上海大學碩士學位論文 ! ! ! ! ! ! 塑里! ! ! 塑! ! ! ! ! ! 墮曼! ! 1 9 1 型竺! 唑! 塑 5 ) 聚類分析。當沒有樣本來訓練分類器時，要求分類器能根據(jù)樣本間的相 似程度自動分類。 2 3 圖象平滑相關技術 圖象平滑( i m a g es m o o t h i n g ) 主要是為了消除被污染圖像中的噪聲，這是遙 感圖像處理研究的最基本內(nèi)容之一。 數(shù)字圖像的噪聲主要來源于圖像的獲取和傳輸過程。高斯噪音和椒鹽噪音是 目前文獻中常常提到的兩種，已經(jīng)可以用數(shù)學建模的兩大噪音。 圖像平滑包括空域法和頻域法兩大類?？臻g域的圖象平滑技術有鄰域平均 法、空間低通濾波、多圖象平均、中值濾波等。在頻率域，由于噪聲頻譜通常在 高頻部分，可以采用各種形式的低通濾波器的方法減少噪聲【l ”。 下面我們就簡單得介紹幾種常見的濾波方法： 1 ) 鄰域平均法。這是一種簡單的空間域處理方法，基本思想是用相鄰的幾 個像素灰度平均值來代替每個像素的灰度。這種方法可以有效得去處高斯噪 音和強度不大的椒鹽噪音，但是算法過程中缺少對邊緣的考慮，會造成邊緣 模糊和細節(jié)的湮滅。 2 ) 多幅圖像平均法。這種方法基本思想就是利用對同一景物的多幅圖像相 加取平均來消除噪聲產(chǎn)生的高頻成分。這種方法的難點在于怎樣把多幅圖像 配準，使得對應像素能正確得排序。 3 ) 中值濾波法?；舅枷刖褪且詧D像中某點為中心將小窗口內(nèi)的所有像素 的灰度排序，將中間值作為該點的灰度值方法。它能很好地去除椒鹽噪音， 但對高斯噪音無能為力。 4 ) 梯度倒數(shù)加權(quán)法?；舅枷胧前阎行狞c像素與它鄰域各點的像素取梯度 的絕對值，對所得絕對值取倒數(shù)。這種方法能較好地保持圖像邊緣和細節(jié)信 息，然而對椒鹽噪聲和脈沖噪聲效果并不明顯。 5 ) 空間域低通濾波法。圖像來說邊緣以及噪聲干擾的頻率分量都處于頻率 較高的部允因此可以用低通濾波方法去除噪聲。主要借助模板對圖像進行鄰 域操作?？臻g域濾波器有很多種。它可以有效地處理高斯分布、泊松分布的 上海大學碩士學位論文 ! 墮! ! ! 塑! ! ! ! ! ! ! ! ! ! ! ! ! 墮! ! ! ! g ! 型! ! i ! ! 堡盟 噪聲，而對較密集的椒鹽噪聲處理效果較差。 6 ) 頻率域低通濾波法。在分析圖像信號的頻率特性時，一幅圖像中的邊緣、 跳躍部分以及顆粒噪聲代表圖像信號的高頻分量j 而大面積的背景區(qū)則代表 圖像信號的低頻分量用濾波的方法濾除其高頻部分就能去除噪聲使圖像 得到平滑常見的低通濾波器有：理想低通濾波器、巴特沃思低通濾波器、 指數(shù)低通濾波器。用頻域低通濾波實現(xiàn)平滑，最大的缺點就是處理后的圖像 有模糊和振鈴的效應【j ”。 另外，在以上幾種方法的基礎上改進的平滑算法以及基于數(shù)學形態(tài)學平滑算 法等等，研究比較多。圖像受噪聲污染存在著差異，其中包含的噪聲也不盡相同， 實際應用種圖像往往包含多種不周類型的噪聲。因此，好的圖像平滑算法應該具 備對不同類型噪聲的處理能力。我們應該根據(jù)自己的實際需要，選擇合適自己的 平滑算法。 在人臉的局部特征的檢測中對細線和小區(qū)域的要求都很高，選擇濾波器尺寸 太大，會造成眼睛區(qū)域細節(jié)的丟失，為進一步眼睛精確定位造成困難。所以本文 選用的高斯平滑濾波器的大小的選擇是通過大量實驗驗證而確定下來的。 2 4 圖象分割相關技術 圖像分割是圖像處理中的主要問題，也是計算機領域底層次視覺中的主要問 題【2 0 1 。從二十世紀七十年代起圖像分割問題就吸引了很多研究員的高度重視，至 今沒有一個通用有效的方法，從而被認為是計算機視覺中的一個瓶頸問題。 如果我們感興趣的目標是人臉區(qū)域，比如要進行人臉識別和分析，那就要求 首先把人臉區(qū)域從背景中分割出來，這就是人臉檢測。人臉的檢測與分割是圖像 分割技術的具體應用。 舀前學術界已經(jīng)提出了上千種類型的分割算法，而且近年來每年都有上百篇 有關研究報道發(fā)表【2 l 】。下面我們按照經(jīng)典得分類方法將其分為：灰度閩值分割法、 邊緣檢測分割法、區(qū)域跟蹤分割法三種。 1 ) 灰度閾值分割法：就是先選定一個處于圖像灰度取值范圍之中的灰度， 以確定圖像中每個像素點應該屬于目標還是背景區(qū)域，從而得到相應的二值圖 1 4 上 每大學碩士學位論文 ! ! ! ! ! 塾旦望璺! 型! ! ! ! ! ! ! ! ! 璺壘苧2 旦壘型望! ! ! ! ! ! 塑 像。閾值分割法可以分為： 全局單閾值，該方法的基本思想是：當灰度級直方圖具有雙峰特性是，選取 兩峰之間的谷對應的灰度級作為閩值。 這種方法優(yōu)點是簡單，但是缺點是需要一定的先驗只是，而且處理的對象只 能是目標和背景對比度相似的圖像。 自適應閾值，就是給原始圖像分塊，對每一塊區(qū)域選取各自的局部閡值進行 分割。這種方法在分割完后，需要采用適當?shù)钠交夹g消除邊界的不連續(xù)性。這 類算法的時間和空間