（計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)論文）基于形狀預(yù)測(cè)模型的多光照人臉識(shí)別.pdf

摘要 摘要 人臉識(shí)別是當(dāng)前計(jì)算機(jī)視覺(jué)、模式識(shí)別、計(jì)算機(jī)圖形學(xué)等領(lǐng)域的研究熱點(diǎn)， 具有重要的理論研究意義和巨大的應(yīng)用價(jià)值。經(jīng)過(guò)幾十年的發(fā)展，人臉識(shí)別研究 取得很大成就，在條件可控或者理想情況下基本達(dá)到實(shí)用水平。但是目前的人臉 識(shí)別技術(shù)水平在非理想情況下與實(shí)用要求有很大距離，仍有許多關(guān)鍵性難題需要 解決，特別是光照問(wèn)題、姿態(tài)問(wèn)題、表情問(wèn)題等。在實(shí)驗(yàn)室對(duì)人臉識(shí)別多年研究 的基礎(chǔ)上并結(jié)合作者在研究生階段參與的科研課題，本文圍繞著人臉識(shí)別中的光 照問(wèn)題以及其他問(wèn)題做了以下幾方面的研究工作： 1 對(duì)人臉識(shí)別研究做了概述。一些國(guó)內(nèi)外研究者對(duì)人臉識(shí)別做了很好的綜 述，但是作為當(dāng)前的研究熱點(diǎn)，新的方法和技術(shù)不斷出現(xiàn)，每年都有大量關(guān)于人 臉識(shí)別的研究成果。本文從發(fā)展歷程、國(guó)內(nèi)外研究現(xiàn)狀、經(jīng)典算法、性能評(píng)價(jià)和 面l | 每問(wèn)題五個(gè)方面對(duì)人臉識(shí)別研究進(jìn)行了系統(tǒng)全面地介紹。 2 分析了三維形狀和二維紋理對(duì)人臉識(shí)別的影響。在本實(shí)驗(yàn)室建立的大規(guī) 模中國(guó)人的三維人臉庫(kù)和基于重采樣三維人臉對(duì)齊算法的基礎(chǔ)上，本文設(shè)計(jì)合理 的實(shí)驗(yàn)，采用平均三維人臉來(lái)改變?cè)既S人臉的形狀和紋理信息，系統(tǒng)地分析 了在這種變換模式下的人臉三維形狀和二維紋理對(duì)人臉圖像識(shí)別的影響，在 e i g e l l f ；屺e 算法上的試驗(yàn)結(jié)果表明，形狀和紋理信息對(duì)人臉識(shí)別都有很大影響， 并且形狀信息的影響遠(yuǎn)遠(yuǎn)大于紋理信息的影響。 3 在深入分析光照問(wèn)題的基礎(chǔ)上，提出了一種基于人臉形狀預(yù)測(cè)模型合成 虛擬圖像的人臉識(shí)別方法。本文選用支持向量回歸來(lái)訓(xùn)練和學(xué)習(xí)人臉圖像和人臉 三維形狀之間的內(nèi)在關(guān)系，并把這種內(nèi)在關(guān)系作為先驗(yàn)知識(shí)用于預(yù)測(cè)新輸入人臉 圖像的形狀信息，避免了非人臉的產(chǎn)生，并保證預(yù)測(cè)的準(zhǔn)確性。利用預(yù)測(cè)得到的 人臉三維形狀和輸入圖像合成不同光照條件下的虛擬圖像，從而通過(guò)豐富人臉樣 本來(lái)提高了人臉識(shí)別對(duì)光照的魯棒性，在合成虛擬圖像過(guò)程中結(jié)合光照比例圖方 法，增強(qiáng)了合成效果。實(shí)驗(yàn)結(jié)果表明通過(guò)該方法增加虛擬人臉可以顯著改進(jìn)多光 照條件下的人臉識(shí)別性能。 關(guān)鍵詞人臉識(shí)別：形狀信息：紋理信息：光照問(wèn)題：支持向量回歸 a b s t r a c t f a c er e c o g n i d o nh 醛b nt i er e 靼a r c hf o c u si nc o m p u 瓣孕a p b i c s ，c 鋤p u t 盯v i s i o n 題dp a n e m r e c o g n m o na si t sw i d e 瑚g eo f a p p l i c a 矗o n s 鋤ds d c n d f i cv a j u e t h e r ea r em a n yf a r e c o g n i t i o n t e c h n i q u e sh a wb e e np r o p o s e d 蛆ds h o w n 疏驢i f i c 鋤tp r o i n i s e ，a 1 1 dm a n yc o m m e r c i a is y s t e m sa r c a v a i l d b l ef o rv a r i o u sa p p l i c 砒i o 璐u n 婦w e l l - c o n 自r o l l e d 印v i r o n m ti 1 1r e m mf b rt h e1 0 n gt i m e f e s e 眥he 婦f o n ，b u tr o b u s tf 和er e c o 印越o ni ss d d i 仿c i l l t 船m a n yu n r e s o l v e dc h a l l 蚰g e s ，s l l c h 鴿 i l l u m i i l a 吐o n 衄dp o s ev a r i a t i o np r o b l e m s ，e x p r c s s i o np r o b l 哪a n ds oo n t h i sm e s i gi sb 鵲e do n 也ef 婦d 撕o no f 球s e a r c l l i n go nf a c e 球c o 蛐i o ni nm yl a b 啪t o i ya n dt h ep r o j e c t st l l a tih a v e t a k e np a r ti 1 1 ，吐l em a j nc 衄打i b u d o n sn f i ta r e f o l l o w i n g ： 1 ) p r 0 、r i d e gaf e “e wo f f a c e 他c o g n i 怕n 玨t i 珊t 眥砧t l l o u g ht h e f e8 托s o m e9 0 0 ds u n ，e y so f f k e ：。c o 印m o nt ob ep u b l i 8 h e di n l ep a s tf b wy e a 巧，w et l l 試ki ti sn e c e s s a r yt o 百v ean e w o v e r v i e wo ff 如er e c o 刪n o n 丘_ 0 md i 矗b n tv i e w p o i i l t sb e c a l l s et h e 心a r em a n yn e wa l g o 五m m s a n dt e c h o l 0 西髓t 0b cp r e s t e dv a 了y e a lt h i s 趴l r w = yd e s c r i b 船t l l ef h c er o g n i o nt e c h n o l o g y 肋m “e w p o i n t so f h i s l o i i c a ld e v e l o p m e n l ，s t a t e 捌- 血e - a n si nm ew o r l d ，血ec l a s s i c a la l g o 船皿s ， p 盯f 細(xì)a n c ee v a l u a 廿o na l l dk c ) i s g u e si nf h c er e c o g n i d o 2 ) m e 叢u r e sq u 冊(cè)吐6 c a t i o 衄1 1 ym et l 聆e d i m 印s i o n a ls h 印e 肛d 椰咖i 廿1 s i o n a ls 1 】r f a c e 豫f l e c 協(xié)1 1 c ec 佃姍確o n st o 蠡c ci m a g e s 豫c o 鰣右o n b 髂e do n 出eb j p u - 3 d1 a r g e - s c a l cc h i i l e s e f a c ed a 協(xié)b a s e 如dm ec o n 屯s p o n d e n c eb e t w e e nt 1 1 酷ef k e sb y 血o u g hm 船hr e s 唧1 i n 島w eh a v e a 1 砌硼n l e 慨e 曲e n s i 徹_ a ls h a p e 鋤d 咖捌m 哪s i o 眥1s 刪r a c cr e n e c t a n c eo fm co r i 百n a l3 d f 她e sb ym 描n gu s eo ff h ea v e m g ef a c e ，也髓w eh a v eh p l e m e n t e das e r i e so fe x p 盯i l i l e n 乜t o m e a g i l r et h ec o m r i b 而o n so ft h r e e d i m e 地i o n a ls b a p e 雅dt w o - d i m 衄s i o n “s l l r f a c er e n e c t a n c et o f 砬ei m a g er e c o 印i n o nu n d e rt h i sc h 跚g ep g 七嘧1 1 f 蛔m e 懿p 謝瑚肋tr e s u 抵b a s e do nm e e i g 如f a c ea 1 9 0 r i l l l | ：n ，w ec o n d u d 船廿l a tl h et w o 馳e so fi n f o 皿a 石o na r cb o l hi m p o r 齜f b rf k e 鸛c o g f l 攮。nb mn 增3 d 盎a p e 主sm n c hm o r ei 翠。舳tt b 紐也e2 d 張如c er e 丑e c t a n c e ，心 c o n c l l l s i o n 百v 韶g o o ds u g g 船t i o n s 蛆dc l u e st ot h ed e s i 伊。f 蠡c e 佗c o 鰣怕na l g o r i 血m si i l 南缸工r e 3 ) p m p o s e saf k er o 鰣吐o nm d h o db ys y t h e s 醯gv i n l l a lf a c ei m a g e sb a s e do n 也c e s h a p ep r e d i 出o nm o d e lb y 衄伽曲吐l ed e 印蛆a l y s i so f 吐l ei l l i m i n 撕o np r o b l e m w bt r a i n 血e s u p p o r tv e c t o rr e g 陀s s i o n ( s v r ) m o d e ll h r o u 曲a 【a m p l e so f 押o - d i m e n s i o n a l ( 2 d ) a i 】d ；i j 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 t h r e e - d i m e n s i o n a l ( 3 d ) f h ei m a g e sw h i c hc a l ll e a ma i l dr c c a l l 1 er c g r e g s i o nr e l a h o n s h i pb e m e e n t h e m ，血eu s eo f t h ed e n s e l ys a r n p k dg e o m e t 叫o f t h ee x 即叩l a rf a c e so b t a i n e db y1 a s e rs c a 皿i n ga s t h ep r i o rk n o w l e d g ea b 叫ts l l a p et o 廿a i nt l l es tc a i lr e s 砸c tl l l ef a n g eo fa 1 1 0 w a b l ef k 船n l e na p e r s o n a l i z e d3 df 址ec a nb ep 咒l i c t e d 蛆di 船o n s 缸u(yù) c o e d 丘o mas 而g l e 婦l t a lf a c ei i n a g e 謝 h n e u t r a le x p r c s s i o n 柚dn o 皿a l i l l u m i 蚰t i o nb yu s 血g 吐”t r a i l l e ds v rm o d e l r e a l i s 讎v i 竹l l a if a c e s u n d c rd i 彘r e n ti 1 1 u m i n a t i 咄a r es y i 曲e s i z e db 罄e d0 nt l l ep e r s o a l i z e d3 df a c et oc h a m c t 耐z e 吐l e f k es p a c e8 n df a c er e c o 鰣6 0 ni sc o n d u c t e db 船酣o nt h e s er c p r e s t a n v e 池1f a c e s ，血e i 1 1 u m i l l a 矗o nr a d om a pu s e di i l 也es y n l e s i so fv i r n 】a if a c e se 血a n c e sm er e a l i 砂o fv i n l l a lf a c e s t h ee x p e 施c n t a lr e s l l l t ss h o wt h a t l es y n l l l e s i z e d “r t u a lf a c e sc a i ls i g n i f i c 如廿yi m p r o v e 也e c u r a c yo f f h c er e c o g n i 廿o n u n d c r v a r y i i l g i n m n i n a d o n k e y w o r d s f a c er c c o 印m o n ；f a c es h 印e ；目】r 】陸c er e n e c t a i l c e ；i 1 1 u n l i a t i o n ；s u p p o r t v e c t o rr e 目r e s s i o n 獨(dú)創(chuàng)性聲明 本人聲明所呈交的論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研 究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他 人已經(jīng)發(fā)表或撰寫過(guò)的研究成果，也不包含為獲得北京工業(yè)大學(xué)或其它教育機(jī)構(gòu) 的學(xué)位或證書而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均 己在論文中作了明確的說(shuō)明并表示了謝意。 簽名：塞奴逮日期：2 五幺! 么 關(guān)于論文使用授權(quán)的說(shuō)明 本人完全了解北京工業(yè)大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán) 保留送交論文的復(fù)印件，允許論文被查閱和借閱：學(xué)?？梢怨颊撐牡娜炕虿?分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文。 ( 保密的論文在解密后應(yīng)遵守此規(guī)定) 簽名：丞垂逸 導(dǎo)師簽名： 第1 章緒論 1 1 人臉識(shí)別研究的背景與意義 讓計(jì)算機(jī)“認(rèn)識(shí)”人臉是近幾十年來(lái)人們追求的一個(gè)目標(biāo)，雖然人類天生具 有認(rèn)識(shí)人臉的能力，但是讓計(jì)算機(jī)“認(rèn)識(shí)”人臉卻是具有很大挑戰(zhàn)性的難題，這 就是所謂的“機(jī)器人臉識(shí)別”。人臉識(shí)別目前已經(jīng)成為計(jì)算機(jī)視覺(jué)、模式識(shí)別等 領(lǐng)域的研究熱點(diǎn)，受到越來(lái)越多的關(guān)注和研究，對(duì)人臉識(shí)別的研究具有重要的理 論研究意義和廣泛的應(yīng)用價(jià)值。 首先，人臉識(shí)別的研究極大地促進(jìn)相關(guān)學(xué)科的發(fā)展，具有重要的理論意義。 人臉具有非常復(fù)雜的幾何結(jié)構(gòu)和生理結(jié)構(gòu)，人臉識(shí)別研究涉及到模式識(shí)別、圖像 處理、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、認(rèn)知學(xué)、神經(jīng)學(xué)、心理學(xué)等多學(xué)科領(lǐng)域。 作為一個(gè)典型的模式分類問(wèn)題，人臉識(shí)別為這些學(xué)科提供了一個(gè)很好的研究實(shí) 例。 其次，人臉識(shí)別研究具有廣泛的實(shí)用價(jià)值。在危險(xiǎn)人物智能監(jiān)控、罪犯抓逃 與對(duì)比、出入境管理等國(guó)家安全領(lǐng)域，電子商務(wù)、電子政務(wù)、信息系統(tǒng)等信息安 全領(lǐng)域，視頻游戲、虛擬現(xiàn)實(shí)、人機(jī)交互等娛樂(lè)領(lǐng)域，還有其它領(lǐng)域都有著廣泛 的應(yīng)用價(jià)值和前景。 1 2 人臉識(shí)別的特點(diǎn)與應(yīng)用領(lǐng)域 1 2 1 人臉識(shí)別的特點(diǎn) 相對(duì)于傳統(tǒng)的身份認(rèn)證技術(shù)，生物識(shí)別技術(shù)是最為方便與安全的身份認(rèn)證技 術(shù)，它不需要記住復(fù)雜的密碼，不需要隨身攜帶鑰匙、智能卡之類的東西。所謂 生物識(shí)別技術(shù)( b i 0 1 n e 缸c s ) 是指利用人體本身所具有的、具有唯一性的生理特征或 者行為特征進(jìn)行身份驗(yàn)證的技術(shù)。由于每個(gè)人的生物特征具有與其它人不同的唯 一性和在一定時(shí)期內(nèi)不變的穩(wěn)定性，生物識(shí)別技術(shù)的安全系數(shù)與傳統(tǒng)的身份驗(yàn)證 機(jī)制相比較有很大的提高。目前已有多種生物識(shí)別技術(shù)得到實(shí)際應(yīng)用，如指紋識(shí) 別、虹膜識(shí)別、視網(wǎng)膜識(shí)別、掌紋識(shí)別、語(yǔ)音識(shí)別、手背血管分布識(shí)別、筆跡識(shí) 別、聲紋識(shí)別、步態(tài)識(shí)別等，其中指紋識(shí)別憑借其無(wú)可比擬的唯一性、穩(wěn)定性和 別、聲紋識(shí)別、步態(tài)識(shí)別等，其中指紋識(shí)別憑借其無(wú)可比擬的唯一性、穩(wěn)定性和 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 再生性備受關(guān)注并取得了廣泛的應(yīng)用。隨著技術(shù)的進(jìn)步和生物識(shí)別技術(shù)所特有的 優(yōu)勢(shì)，人們對(duì)生物識(shí)別技術(shù)寄予很大期望，希望能夠很好的滿足國(guó)家公共安全、 社會(huì)安全及信息安全等各方面的應(yīng)用需求。尤其是美國(guó)的“9 1 l ”事件以后，世 界各國(guó)政府，尤其西方國(guó)家，對(duì)身份驗(yàn)證領(lǐng)域的關(guān)注與投入迅速增長(zhǎng)，特別是對(duì) 生物識(shí)別技術(shù)的青睞，這也很大的促進(jìn)了生物識(shí)別技術(shù)的發(fā)展。 進(jìn)入九十年代以后，隨著計(jì)算機(jī)處理速度的快速發(fā)展及人臉識(shí)別算法的革命 性改進(jìn)，人臉識(shí)別技術(shù)以其獨(dú)特的方便、自然、經(jīng)濟(jì)等優(yōu)點(diǎn)受到世人矚目。人臉 識(shí)別技術(shù)已經(jīng)成為生物識(shí)別技術(shù)領(lǐng)域中最受關(guān)注與青睞，也是最有發(fā)展前景的識(shí) 別技術(shù)之一。與其它生物識(shí)別技術(shù)相比較，人臉識(shí)別技術(shù)有著獨(dú)特的技術(shù)優(yōu)勢(shì)， 主要體現(xiàn)在： 可以隱蔽操作：人臉識(shí)別系統(tǒng)可以很好的隱蔽于各種場(chǎng)合，這一特點(diǎn)特別適 合于公共安全領(lǐng)域及重要場(chǎng)所，如機(jī)場(chǎng)、車站、碼頭等。這是人臉識(shí)別技術(shù)的一 個(gè)很大優(yōu)勢(shì)，但是也有學(xué)者與法律界人士對(duì)于人臉識(shí)別技術(shù)隱蔽操作的合法性提 出質(zhì)疑。 主動(dòng)性強(qiáng)：與指紋、虹膜、視網(wǎng)膜、語(yǔ)音等生物識(shí)別技術(shù)不同，人臉識(shí)別不 需要識(shí)別對(duì)象接觸采集信息，可以方便的采集到識(shí)別對(duì)象的面部圖像，具有很好 的主動(dòng)性。非接觸式采集比較符合一般用戶的習(xí)慣，容易被人接受。 可追蹤性好：人臉識(shí)別系統(tǒng)可以保存每次事件發(fā)生時(shí)的人臉圖像信息和相關(guān) 記錄，從而具有良好的后事追蹤能力。 良好的防偽、防欺詐性：人臉是最直觀、唯一并且在一定時(shí)期內(nèi)非常穩(wěn)定的 人體生物特征，所以人臉識(shí)別技術(shù)具有良好的防偽、防欺詐性能。 性價(jià)比高：人臉識(shí)別技術(shù)只需要計(jì)算機(jī)和圖像采集設(shè)備以及相應(yīng)的軟件， 不需要其它特殊的采集設(shè)備，費(fèi)用較低，具有很高的性能價(jià)格比。指紋、虹膜等 識(shí)別技術(shù)都需要專門的采集設(shè)備。 目前的人臉識(shí)別技術(shù)也存在一些難以克服的缺點(diǎn)，主要體現(xiàn)在以下兩個(gè)方 面： 識(shí)別率達(dá)不到實(shí)用化的要求：盡管當(dāng)前的人臉識(shí)別技術(shù)在用戶配合或者特定 場(chǎng)合下有很高的識(shí)別率，但是在一般實(shí)用情況下的識(shí)別率仍達(dá)不到實(shí)用化的要 求。這也是由于人臉識(shí)別本身的復(fù)雜性所致，目前的技術(shù)很難解決。 第l 章緒論 受外界條件影響大、穩(wěn)定性差：雖然人的面部在短時(shí)間內(nèi)不會(huì)發(fā)生根本的變 化( 化妝、整容除外) ，但是人臉圖像在不同姿態(tài)、不同的光照條件以及不同表情 時(shí)有很大差異，對(duì)人臉識(shí)別產(chǎn)生很大影響。 盡管人們對(duì)人臉識(shí)別投入了極大的熱情與精力，但是這些缺點(diǎn)使得人臉識(shí)別 仍然是一個(gè)極有挑戰(zhàn)性的課題，離實(shí)用化還有一定的距離。目前，即使世界上最 好的人臉識(shí)別系統(tǒng)也只是在數(shù)據(jù)庫(kù)規(guī)模不大，用戶配合和外界條件可控的情況下 才能有較好的識(shí)別性能。對(duì)這些問(wèn)題的解決，仍然是今后一段時(shí)間人臉識(shí)別領(lǐng)域 的研究目標(biāo)。 1 2 2 人臉識(shí)別的應(yīng)用領(lǐng)域 人臉識(shí)別的應(yīng)用領(lǐng)域主要包括：國(guó)家公共和社會(huì)安全、信息安全和娛樂(lè)及日 常應(yīng)用等三大領(lǐng)域。 國(guó)家公共和社會(huì)安全是人臉識(shí)別最重要的應(yīng)用領(lǐng)域，對(duì)危險(xiǎn)恐怖分子和犯罪 分子進(jìn)行及時(shí)監(jiān)控和追蹤提供了強(qiáng)大的技術(shù)支持。打擊犯罪、保障人民生命財(cái)產(chǎn) 安全是世界各國(guó)所面臨的一個(gè)嚴(yán)峻任務(wù)，特別是我國(guó)這樣一個(gè)人口眾多的大國(guó)， 人口流動(dòng)日益頻繁，打擊犯罪的任務(wù)更加嚴(yán)峻。目前多是將逃犯的照片、身份證、 特征資料上網(wǎng)發(fā)布，但這種方法的判斷要通過(guò)多種技術(shù)鑒定，它對(duì)證件資料假冒 犯人的查詢有較大的難度，對(duì)犯罪分子的狡辯、偽裝往往要消耗大量的時(shí)間和物 力來(lái)進(jìn)行確認(rèn)。利用人臉識(shí)別技術(shù)，則可大大提高工作效率，并能對(duì)犯罪分子產(chǎn) 生極大的威懾力量。如在重要的車站、碼頭、機(jī)場(chǎng)、海關(guān)、銀行等出入口附近架 設(shè)攝像機(jī)，則系統(tǒng)可自動(dòng)捕捉進(jìn)、出上述場(chǎng)所的人員的頭像，再通過(guò)網(wǎng)絡(luò)將頭像 面貌特征數(shù)據(jù)傳送到計(jì)算機(jī)中心數(shù)據(jù)庫(kù)去，與逃犯的頭像進(jìn)行比較，迅速準(zhǔn)確地 做出身份判斷，一旦發(fā)現(xiàn)可疑人物，即自動(dòng)記錄并報(bào)警。借助于無(wú)線技術(shù)的發(fā)展， 人臉識(shí)別技術(shù)己應(yīng)用在手機(jī)等無(wú)線設(shè)備上，這樣更加方便對(duì)流動(dòng)犯罪分子的打 擊。 信息安全領(lǐng)域是人臉識(shí)別的另一個(gè)重要應(yīng)用領(lǐng)域。網(wǎng)絡(luò)與信息技術(shù)的快速發(fā) 展極大推動(dòng)了社會(huì)進(jìn)步，給人們提供了越來(lái)越舒適、方便和快捷的生活方式，但 是信息的獲取與控制的安全問(wèn)題也日益凸現(xiàn)出來(lái)。信息安全問(wèn)題已經(jīng)引起人們的 普遍關(guān)注，金融盜竊與詐騙、通過(guò)網(wǎng)絡(luò)竊取國(guó)家、商業(yè)機(jī)密等犯罪現(xiàn)象日益增多， 3 北京工業(yè)大學(xué)工學(xué)硬士學(xué)位論文 對(duì)傳統(tǒng)的安全措施提出了新的挑戰(zhàn)。人臉識(shí)別技術(shù)則提供一種更加可靠、安全和 方便的安全控制機(jī)制，它不需要任何的電子、機(jī)械“鑰匙”，從根本上可以杜絕 鑰匙、密碼的丟失和盜取現(xiàn)象。特別是銀行金融系統(tǒng)對(duì)安全防范控制系統(tǒng)有著極 高的要求，如對(duì)金庫(kù)的安全設(shè)施、保險(xiǎn)柜、自動(dòng)取款機(jī)以及電子商務(wù)信息系統(tǒng)等 都需要人臉識(shí)別技術(shù)這種更直觀、準(zhǔn)確、可靠的識(shí)別系統(tǒng)。 在娛樂(lè)及日常生活中人臉識(shí)別技術(shù)也有著廣泛的應(yīng)用。比如在游戲中加入人 臉識(shí)別技術(shù)可以增加游戲的智能性、趣味性和交互性；通過(guò)人臉識(shí)別技術(shù)可以讓 機(jī)器寵物具有認(rèn)識(shí)自己主人的能力，使得機(jī)器寵物更加人性化。人臉識(shí)別技術(shù)還 可以用在面相考勤、代表身份驗(yàn)證、各種證件檢驗(yàn)等日常應(yīng)用中，具有方便、快 捷、可靠的優(yōu)點(diǎn)。 1 3 人臉識(shí)別系統(tǒng)的功能組成 計(jì)算機(jī)人臉識(shí)別可以通俗的定義為：輸入一幅圖像或者一段視頻序列，利用 計(jì)算機(jī)和數(shù)據(jù)庫(kù)中的已知人臉圖像通過(guò)一定的技術(shù)和方法來(lái)識(shí)別或者確認(rèn)輸入 圖像或視頻序列中人的身份。 從功能角度，人臉識(shí)別系統(tǒng)的功能可以分為三類： 鑒別( i d e m f i c a t i o n ) ：鑒別回答“這是誰(shuí)? ”( w h 0i st h i s ? ) 。將繪定的人 臉圖像與計(jì)算機(jī)中存儲(chǔ)的n 個(gè)人的圖像逐個(gè)比較，輸出m 幅圖像，并 按照與給定圖像的相似度從大到小排列，再由人來(lái)確定這是誰(shuí)。 驗(yàn)證( v e r i 矗c a t i o n ) ：驗(yàn)證回答“這是否為某人? ”i si sw h o m ? ) 。輸入人 臉圖像中的人的身份己知，與計(jì)算機(jī)中存儲(chǔ)的該人的圖像進(jìn)行比較，回 答該人的身份是否真實(shí)。 監(jiān)控( w a t c h1 i s t ) ：監(jiān)控同時(shí)具有鑒別和驗(yàn)證功能，回答“這是否為要找 的人? ”( a f e y o u l o o l d g f o r m e ? ) 。將未知身份的人的圖像輸入計(jì)算機(jī)， 計(jì)算機(jī)決定這個(gè)人是否在監(jiān)控名單中，如果在，還必須確定這個(gè)人的身 份。 從技術(shù)角度，一個(gè)完整的人臉識(shí)別系統(tǒng)至少有三部分組成：人臉檢測(cè)( f a c e d e t e c t i o n ) ，特征提取( f e a t u r ee x 曲c d o n ) 和人臉識(shí)別( f a c er e c o 鰣t i o n ) ，如圖 1 1 所示。 第l 章緒論 圖1 1 人臉識(shí)別系統(tǒng)的功能組成【1 】 f i g 1 一lc 。n u r 碰o n o f a g c n c f k er o g n i d o ns ”t e i n 人臉檢測(cè)，也可稱為人臉?lè)指羁赼 c es e 舯哪t a t i o n ) ，用來(lái)確定輸入圖像中 人臉的位置、大小等信息，然后分割出人臉區(qū)域，并進(jìn)行歸一化處理； 特征提取，是人臉識(shí)別系統(tǒng)中最為關(guān)鍵的一步，用來(lái)提取出能準(zhǔn)確表示 某張人臉的特征參數(shù)作為下一步驟中人臉?lè)诸惼鞯妮斎?。顯然，人臉特 征參數(shù)提取的好壞，直接影響到人臉識(shí)別的性能； 人臉識(shí)別，把提取的人臉特征參數(shù)與數(shù)據(jù)庫(kù)中的所有人臉特征參數(shù)進(jìn)行 比較，確認(rèn)出這組特征參數(shù)所代表的人的身份。 1 。4 本文主要研究?jī)?nèi)容 從人臉識(shí)別產(chǎn)生至今，經(jīng)過(guò)幾十年的研究與發(fā)展，人臉識(shí)別研究取得了巨大 的進(jìn)步，特別是近十多年，是人臉識(shí)別快速發(fā)展時(shí)期。但是目前的技術(shù)水平與人 們對(duì)人臉識(shí)別技術(shù)的期望還有很大的距離，特別是光照問(wèn)題、姿態(tài)問(wèn)題和表情問(wèn) 題等開放性問(wèn)題成為人臉識(shí)別技術(shù)發(fā)展的瓶頸，在今后的一段時(shí)期內(nèi)，人臉識(shí)別 技術(shù)還需要解決諸多的難點(diǎn)問(wèn)題。本文的研究?jī)?nèi)容是在實(shí)驗(yàn)室對(duì)人臉識(shí)別技術(shù)多 年研究的基礎(chǔ)上主要針對(duì)以下兩個(gè)問(wèn)題進(jìn)行展開： 問(wèn)題1 三維幾何形狀信息和二維表面紋理信息對(duì)人臉圖像識(shí)別的影響 人臉具有復(fù)雜的幾何結(jié)構(gòu)和生理結(jié)構(gòu)，而且人臉的光照特性也很復(fù)雜，但是 從人臉成像的一般過(guò)程來(lái)看，影響人臉圖像生成效果主要包括三個(gè)因素：人臉三 甚_8ii_i輯 北京工業(yè)大學(xué)工學(xué)i 受士學(xué)位論文 維形狀、人臉二維表面紋理和外界光照條件，其中人臉三維形狀和二維紋理是人 臉本身的內(nèi)在屬性，而光照條件是外在屬性。在光照可控的條件下，人臉圖像的 生成效果就由內(nèi)在屬性決定。在人臉識(shí)別過(guò)程中，三維形狀信息對(duì)人臉圖像生成 的影響大，還是二維紋理信息對(duì)人臉圖像的生成影響大? 也即在人臉識(shí)別中是形 狀信息起主導(dǎo)作用還是紋理信息起主導(dǎo)作用? 在人臉識(shí)別領(lǐng)域，這是一個(gè)非?；?本而又重要的問(wèn)題。該問(wèn)題的研究對(duì)今后人臉識(shí)別算法和系統(tǒng)設(shè)計(jì)都會(huì)有很好的 啟示與借鑒意義，特別是對(duì)近幾年出現(xiàn)的基于三維人臉識(shí)別方法有更好的借鑒意 義。 問(wèn)題2 如何提高多光照條件下的人臉識(shí)別率 光照問(wèn)題一直是人臉識(shí)別研究中的難點(diǎn)問(wèn)題，特別是在人們追求人臉識(shí)別自 動(dòng)化和實(shí)用化的過(guò)程中，光照問(wèn)題顯得更為突出。實(shí)驗(yàn)表明，同一人臉在不同光 照條件下人臉圖像之間的差異往往大于不同人臉在同一光照條件下人臉圖像之 間的差異【“，這就給人臉識(shí)別帶來(lái)了極大的挑戰(zhàn)。f e r e t 測(cè)試3 】表明即使是最好 的人臉識(shí)別系統(tǒng)，其識(shí)別性能也會(huì)因?yàn)楣庹兆兓挠绊懚彼⑾陆怠 r 、玎2 0 0 2 h 的評(píng)測(cè)結(jié)果指出，雖然人臉識(shí)別系統(tǒng)對(duì)室內(nèi)光照變化具有較強(qiáng)的魯棒性，但是對(duì) 室外圖像的識(shí)別率仍然很低。盡管人們對(duì)光照問(wèn)題進(jìn)行大量的研究，并提出很多 算法來(lái)提高入臉識(shí)別對(duì)光照變化的不敏感性，但是對(duì)光照問(wèn)題的研究仍將是今后 人臉識(shí)別領(lǐng)域的研究重點(diǎn)。 本文重點(diǎn)圍繞上述兩問(wèn)題進(jìn)行研究，對(duì)如何度量三維形狀和二維紋理對(duì)人臉 識(shí)別的影響和基于人臉形狀預(yù)測(cè)模型的多光照人臉識(shí)別進(jìn)行了深入的研究，主要 的研究?jī)?nèi)容包括： 1 從多個(gè)角度全面地對(duì)人臉識(shí)別技術(shù)進(jìn)行了概述，主要包括人臉識(shí)別技術(shù) 的發(fā)展歷程、國(guó)內(nèi)外研究現(xiàn)狀、經(jīng)典方法、人臉識(shí)別性能評(píng)價(jià)體系以及當(dāng)前面臨 的主要問(wèn)題等五個(gè)方面。 2 分析了三維形狀和二維紋理對(duì)人臉識(shí)別的影響，在本實(shí)驗(yàn)室建立的大規(guī) 模中國(guó)三維入臉庫(kù)和基于重采樣三維入臉對(duì)齊算法的基礎(chǔ)上，采用e i g e n f a c e 算 法進(jìn)行識(shí)別定量地分析了人臉三維形狀和二維紋理對(duì)基于特定算法的人臉圖像 識(shí)別的影響。 3 本文提出了一種基于人臉形狀預(yù)測(cè)模型合成虛擬圖像的人臉識(shí)別方法， 第1 章緒論 通過(guò)樣本來(lái)學(xué)習(xí)人臉圖像和人臉三維形狀之間的內(nèi)在關(guān)系，并把這種內(nèi)在關(guān)系作 為先驗(yàn)知識(shí)來(lái)預(yù)測(cè)新輸入人臉圖像的人臉三維形狀。選用支持向量回歸來(lái)訓(xùn)練和 學(xué)習(xí)人臉圖像和三維形狀之間的關(guān)系，建立一個(gè)三維人臉形狀預(yù)測(cè)模型，輸入一 幅普通光照條件下的中性表情人臉圖像，通過(guò)該預(yù)測(cè)模型可快速預(yù)測(cè)輸入人臉的 三維形狀。基于預(yù)測(cè)的人臉三維形狀和輸入圖像，合成不同光照條件下的人臉虛 擬圖像，從而豐富人臉樣本來(lái)提高人臉識(shí)別對(duì)光照的魯棒性。 1 5 本文的組織結(jié)構(gòu) 本文共有六章組成，各章節(jié)內(nèi)容如下： 第一章是本文的緒論部分，介紹了人臉識(shí)別研究的背景與意義，概括了入臉 識(shí)別技術(shù)的優(yōu)勢(shì)與不足以及主要的應(yīng)用領(lǐng)域，總結(jié)了人臉識(shí)系統(tǒng)的功能組成，引 入了本文的重點(diǎn)研究問(wèn)題和主要研究?jī)?nèi)容，最后給出了本文的組織結(jié)構(gòu)。 第二章對(duì)人臉識(shí)別研究進(jìn)行了概述，主要從人臉識(shí)別發(fā)展歷程、國(guó)內(nèi)外研究 現(xiàn)狀、經(jīng)典識(shí)別方法、人臉識(shí)別性能評(píng)價(jià)體系以及目前人臉識(shí)別所面臨的主要難 題等方面進(jìn)行介紹。 第三章研究了人臉的三維形狀信息和二維紋理信息對(duì)人臉圖像識(shí)別的影響， 包括本研究問(wèn)題的提出、數(shù)據(jù)的組織、研究方法和實(shí)驗(yàn)結(jié)果與結(jié)論等幾個(gè)方面。 第四章對(duì)人臉識(shí)別中的光照問(wèn)題進(jìn)行了介紹，主要有人臉圖像的表示模型、 光照變化對(duì)人臉識(shí)別的影響和人臉識(shí)別中解決光照問(wèn)題的主要方法三部分內(nèi)容 組成，其中重點(diǎn)介紹了人臉識(shí)別中解決光照問(wèn)題的主要方法并對(duì)這些方法進(jìn)行了 分類總結(jié)。 第五章研究了基于人臉形狀預(yù)測(cè)模型的多光照人臉識(shí)別方法，介紹了數(shù)據(jù)組 織及處理、數(shù)學(xué)理論基礎(chǔ)以及實(shí)現(xiàn)過(guò)程和實(shí)驗(yàn)結(jié)果等。 本文的最后是結(jié)論與展望，對(duì)本文的主要工作進(jìn)行了總結(jié)，并對(duì)今后的工作 進(jìn)行了展望。 第2 章人臉識(shí)別研究概述 第2 章人臉識(shí)別研究概述 從計(jì)算機(jī)人臉識(shí)別研究開始至今，國(guó)內(nèi)外許多學(xué)者做了大量的工作，并取得 了一定的成就。有不少綜述文章對(duì)人臉識(shí)別技術(shù)進(jìn)行了很好的概括和總結(jié) 【1 】 5 【6 【7 1 。文獻(xiàn) 1 全面、系統(tǒng)的對(duì)人臉識(shí)別技術(shù)進(jìn)行了總結(jié)，是目前最好的人臉 識(shí)別技術(shù)綜述文章，文獻(xiàn) 6 也很好的從多個(gè)方面對(duì)人臉識(shí)別技術(shù)進(jìn)行了綜述。 人臉識(shí)別研究是當(dāng)前的一個(gè)研究熱點(diǎn)，新的方法和技術(shù)不斷出現(xiàn)，每年都有大量 的相關(guān)文章發(fā)表，因此作者認(rèn)為有必要對(duì)前人的工作做一下總結(jié)與補(bǔ)充。本文從 多個(gè)角度對(duì)人臉識(shí)別研究進(jìn)行了總結(jié)分析。 2 1 人臉識(shí)別研究的發(fā)展歷程 人臉識(shí)別研究最早起始于2 0 世紀(jì)5 0 年代的心理學(xué)研究【引，b l e d s a e 在1 9 6 6 年提出機(jī)器人臉識(shí)別研究【9 ，然而真正的自動(dòng)化的機(jī)器人臉識(shí)別研究開始于2 0 世紀(jì)7 0 年代，開創(chuàng)性的工作是k a n a d e 的 1 0 和k e l l y 的 1 1 。從發(fā)展過(guò)程的角 度，可以把人臉識(shí)別技術(shù)的發(fā)展分為三個(gè)階段： 第一階段從人臉識(shí)別研究開始到2 0 世紀(jì)8 0 年代末。這時(shí)期的人臉識(shí)別方法 主要是基于幾何特征匹配的識(shí)別方法，主要利用入臉的寬度、瞳孔間的距離以及 嘴巴的寬度等幾何信息1 1 0 】f 1 ”，k a n n a d e 開創(chuàng)性地完成了第一個(gè)半自動(dòng)化的機(jī)器人 臉識(shí)別系統(tǒng)。這些方法是最簡(jiǎn)單、最傳統(tǒng)的識(shí)別方法，需要手工標(biāo)定特征點(diǎn)，目 前仍然有人在沿用這些方法，但常常與新的方法相結(jié)合，也取得了不錯(cuò)的效果。 由于早期的識(shí)別方法效果較差以及硬件設(shè)備的限制，人臉識(shí)別技術(shù)遠(yuǎn)遠(yuǎn)不能達(dá)到 人們的期望，到8 0 年代人臉識(shí)別研究就進(jìn)入了緩慢發(fā)展階段。 第二階段是2 0 世紀(jì)9 0 年代。在這一時(shí)期，計(jì)算機(jī)硬件的發(fā)展和好的數(shù)學(xué)分 類方法的出現(xiàn)使得入臉識(shí)別研究進(jìn)入了新的、迅速的發(fā)展階段，出現(xiàn)了許多經(jīng)典 的人臉識(shí)別方法【1 2 】【1 3 】 1 4 】【1 跏16 】f 1 7 】 1 8 】。t u r k m 等提出的特征臉?lè)椒ū徽J(rèn)為是里程 碑式的工作，也使得e i g e n f a c e 方法成為測(cè)試識(shí)別性能的基本算法之一。一個(gè)重 要事件是美國(guó)軍方在1 9 9 3 年9 月開始組織實(shí)施了著名的f a c er c c o 嘶t i o n t e c l l n o l o g y ( f e r e t ) 項(xiàng)目，該項(xiàng)目對(duì)人臉識(shí)別研究的發(fā)展起到了重要的作用。 第三階段是2 0 世紀(jì)9 0 年代末至今。隨著人臉識(shí)別研究的發(fā)展，人臉識(shí)別系統(tǒng) 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 逐漸地向著自動(dòng)化和實(shí)用化的方向發(fā)展，實(shí)際應(yīng)用也對(duì)人臉識(shí)別提出了更高的要 求。光照問(wèn)題【1 9 1 2 0 】和姿態(tài)問(wèn)題f 2 2 1 成為人臉識(shí)別研究的熱點(diǎn)，出現(xiàn)了一些新的識(shí) 別方法矧 2 4 【2 5 1 和商業(yè)化的人臉識(shí)別系統(tǒng)。美國(guó)軍方在f e r e t 的基礎(chǔ)上分別在2 0 0 0 年和2 0 0 2 年組織商業(yè)人臉識(shí)別系統(tǒng)評(píng)測(cè)。此外，基于視頻的人臉識(shí)別也是一個(gè)重 要的研究方向口j ，因?yàn)閷?shí)用化的入臉識(shí)別系統(tǒng)必須是輸入方便的，而攝像頭、攝 像機(jī)等設(shè)備是最簡(jiǎn)單、方便的圖像采集設(shè)備。 2 2 人臉識(shí)別研究的國(guó)內(nèi)外現(xiàn)狀 國(guó)外研究現(xiàn)狀： 國(guó)外的人臉識(shí)別研究起步較早，在算法研究、人臉數(shù)據(jù)庫(kù)建設(shè)、系統(tǒng)開發(fā)和 評(píng)價(jià)體系等方面都取得了顯著成果，并出現(xiàn)了許多專業(yè)的人臉識(shí)別公司和商業(yè)化 的人臉識(shí)別系統(tǒng)。許多國(guó)家都建有專門的研究機(jī)構(gòu)，比較著名的有美國(guó)卡內(nèi)基梅 隆大學(xué)( c m u ) 的機(jī)器人研究所、麻省理工學(xué)院( m i t ) 的媒體和人工智能實(shí)驗(yàn)室、馬 里蘭大學(xué)( u n i v e r s i t yo fm a r y l a n d ) 的自動(dòng)化研究中心、法國(guó)的i n r i a 研究院、 日本的a r t 研究所等。從人臉識(shí)別研究開始至今出現(xiàn)了許多人臉識(shí)別技術(shù)方面的 專家和學(xué)者，他們的聰明才智和辛勤工作對(duì)人臉識(shí)別的發(fā)展起做出了重要的貢 獻(xiàn)。k a n a d e 博士于1 9 7 3 年完成了第一篇關(guān)于自動(dòng)人臉識(shí)別方面的博士論文1 1o 】和第 一個(gè)半自動(dòng)化的人臉識(shí)別系統(tǒng)，被認(rèn)為是人臉識(shí)別研究的開創(chuàng)性工作，至今 k a n a d e 博士仍然是人臉識(shí)別領(lǐng)域中的活躍人物之一：麻省理工學(xué)院的t u r k 和 p e n t l a n d 教授提出的特征臉?lè)椒ā? 習(xí)被公認(rèn)為人臉識(shí)別技術(shù)發(fā)展史上的里程碑式 工作，極大的推動(dòng)了其它人臉識(shí)別技術(shù)的發(fā)展和人臉識(shí)別系統(tǒng)的實(shí)用化進(jìn)程； b e l h u m e u r 等人提出的f i s h e r f a c e 方法也是重要的方法【，不但改進(jìn)了特征臉?lè)?法的不足，也為其它方法提供了很好的借鑒；德國(guó)的b l a n z 等人提出的基于三維 形變模型的人臉識(shí)別方法【2 5 】為解決人臉識(shí)別中的光照和姿態(tài)問(wèn)題提供了一個(gè)新 的途徑和發(fā)展方向，可以說(shuō)是人臉識(shí)別中的又一突破性成果，基于三維信息的人 臉識(shí)別方法成為今后人臉識(shí)別研究得主要發(fā)展方向；p h i l l i p s 博士從1 9 9 3 年開始 負(fù)責(zé)和組織人臉識(shí)別性能評(píng)測(cè)工作3 】 4 】，他的工作對(duì)人臉識(shí)別的發(fā)展起了很大的 推動(dòng)作用和導(dǎo)向作用；s t a n l i 博士和a n i lk j a i n 于2 0 0 5 年臺(tái)編的h a n d b o o ko f f a c er e c o 印i t i o n 為人臉識(shí)別領(lǐng)域第一部權(quán)威論著【“，全面系統(tǒng)地介紹了人臉 第2 章人臉識(shí)別研究概述 識(shí)別研究的發(fā)展和最新成果。還有其他專家，如d k r i e g m a n 【1 6 1 ，a s h a s h u a 【2 0 】， w y z h a o 、r c h e l l a p p a 1 】，b m o g h a h h a m 【1 7 1 ，r g r o s s l 2 刀等，他們?yōu)槿四樧R(shí)別的 發(fā)展做出了很有意義的工作。 人臉數(shù)據(jù)庫(kù)是進(jìn)行算法測(cè)試和系統(tǒng)識(shí)別性能評(píng)價(jià)的基礎(chǔ)，建立包含多種條件 下人臉樣本圖像標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)也是人臉識(shí)別領(lǐng)域的研究重點(diǎn)。到目前為止，國(guó)外已 有數(shù)十個(gè)公開的人臉數(shù)據(jù)庫(kù)2 8 1 ，既有二維人臉圖像庫(kù)，也有三維人臉圖像庫(kù)。國(guó) 際上比較常用數(shù)據(jù)庫(kù)有：f e r e t 人臉庫(kù)f 2 9 】，該數(shù)據(jù)庫(kù)是在f e r e t 項(xiàng)目資助下建立的 一個(gè)大規(guī)模人臉數(shù)據(jù)庫(kù)，是目前人臉識(shí)別領(lǐng)域中應(yīng)用最為廣泛的數(shù)據(jù)庫(kù)之一； c p u - p i e 人臉數(shù)據(jù)庫(kù)3 0 】，該數(shù)據(jù)庫(kù)是由卡內(nèi)基梅隆大學(xué)創(chuàng)建的人臉庫(kù)，雖然人數(shù) 不多，但是采集環(huán)境控制嚴(yán)格、樣本豐富，也是目前人臉識(shí)別領(lǐng)域的一個(gè)重要測(cè) 試庫(kù)；還有其它一些常用人臉庫(kù)，如m i t 人臉庫(kù)、y a l e 人臉庫(kù)、o r l 人臉庫(kù)等。三 維人臉識(shí)別是今后人臉識(shí)別研究的發(fā)展方向，國(guó)外也出現(xiàn)一些較小規(guī)模的三維人 臉數(shù)據(jù)庫(kù)：3 dr m a 人臉庫(kù)，它包含1 2 0 人的三維數(shù)據(jù)，在布魯塞爾的s i c ( 齜 s i 髓a l 蛆dh 1 1 a g ec e n t 曲創(chuàng)建，人臉表面點(diǎn)的三維坐標(biāo)有很高的精確性；n o 仃e d 鋤eb i o m e 缸cd a t a s “32 1 ，包含2 7 7 人接近正面的圖像，每個(gè)人有3 到1 0 張?jiān)诓煌?時(shí)間的系列圖像；還有其它一些三維人臉庫(kù)，如g a v 曲d b 【”】，約克大學(xué)三維人臉 庫(kù)州，m p if ；l c ed a t a b a s e 【矧，舵v t s 庫(kù)口q 等。不同人臉數(shù)據(jù)庫(kù)的建立為人臉識(shí) 別、檢測(cè)、合成、動(dòng)畫等方面的研究提供了豐富的數(shù)據(jù)資源，并為該領(lǐng)域的研究 搭建了統(tǒng)一的實(shí)驗(yàn)平臺(tái)和測(cè)試平臺(tái)。 九十年代中期就有了專門關(guān)于人臉識(shí)別的國(guó)際會(huì)議，如自動(dòng)人臉和姿態(tài)識(shí) 別國(guó)際會(huì)議( a f g r ) 、基于音視頻的身份認(rèn)證會(huì)議( a 、，】j p a ) ，后來(lái)一些重要的國(guó) 際學(xué)術(shù)會(huì)議和期刊也含有人臉識(shí)別研究方面的專題，如計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議 ( i c c v ) 、歐洲計(jì)算機(jī)視覺(jué)會(huì)議( e ( ：c 、，) 、計(jì)算機(jī)視覺(jué)與模式識(shí)別國(guó)際會(huì)議( c ，r ) 、 計(jì)算機(jī)圖形學(xué)大會(huì)( s i g g r a p h ) 等，期刊有模式分析與機(jī)器智能( p a m i ) 、模式識(shí)別 ( p r ) 等。每年都有許多新的研究進(jìn)展出現(xiàn)在這些國(guó)際會(huì)議或者期刊上，代表了當(dāng) 前最好的研究成果。 國(guó)內(nèi)研究現(xiàn)狀： 國(guó)內(nèi)的人臉識(shí)別研究起步相對(duì)較晚，但是發(fā)展迅速，特別是九十年代以來(lái)， 在國(guó)家自然基金、8 6 3 計(jì)劃、9 7 3 計(jì)劃等資助下，國(guó)內(nèi)許多研究機(jī)構(gòu)和研究人員開 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 始進(jìn)行人臉識(shí)別方面的研究，并取得可喜成績(jī)。中科院計(jì)算所高文教授研究組的 成績(jī)斐然 3 ”，取得了不少重大成果，在國(guó)內(nèi)外重大生物特征識(shí)別競(jìng)賽的成績(jī)都名 列前茅并獲得國(guó)家級(jí)獎(jiǎng)勵(lì)；中科院自動(dòng)化所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室的譚鐵牛研 究員領(lǐng)導(dǎo)的研究組【3 8 】在人臉識(shí)別研究方面也是成果顯著：清華大學(xué)電子系蘇光大 教授領(lǐng)導(dǎo)的研究組【7 】也取得重大成果；北京工業(yè)大學(xué)尹寶才教授領(lǐng)導(dǎo)的模式識(shí)別 組 39 】也取得很多創(chuàng)新性成果：還有其它研究機(jī)構(gòu)和研究人員。這些研究組在人臉 識(shí)別研究方面都進(jìn)行了許多有益的探索，極大地推動(dòng)了國(guó)內(nèi)人臉識(shí)別技術(shù)的發(fā) 展。在人臉識(shí)別系統(tǒng)的設(shè)計(jì)與開發(fā)方面，也是碩果累累，清華大學(xué)電子系蘇光大 教授主持研制的人臉識(shí)別系統(tǒng)將人臉識(shí)別技術(shù)、網(wǎng)絡(luò)數(shù)據(jù)庫(kù)技術(shù)、計(jì)算機(jī)并行處 理技術(shù)、人像組合技術(shù)、模糊圖像復(fù)原技術(shù)、視頻圖像采集與處理的硬件技術(shù)等 綜合集成為一個(gè)高效運(yùn)行的實(shí)用人臉識(shí)別系統(tǒng)，識(shí)別速度己達(dá)到每秒2 5 6 萬(wàn)張， 并且該系統(tǒng)有通過(guò)手機(jī)進(jìn)行無(wú)線識(shí)別、眼鏡摘除等功能；由中科院計(jì)算所、上海 銀晨科技、哈工大等單位共同參與完成的“人臉識(shí)別理論、技術(shù)、系統(tǒng)及其應(yīng)用” 榮獲了2 0 0 5 年度國(guó)家科技進(jìn)步獎(jiǎng)二等獎(jiǎng)，并取得了初步的應(yīng)用與推廣：中科院自 動(dòng)化所的李子青博士研發(fā)的中科奧森a u t h e n m e t r i c 人臉識(shí)別系統(tǒng)和智能監(jiān)控 系統(tǒng)，已在國(guó)家重大安全部門實(shí)施并發(fā)揮作用；還有其它科研機(jī)構(gòu)和生物識(shí)別公 司的人臉識(shí)別系統(tǒng)或產(chǎn)品取得實(shí)際應(yīng)用。 此外，國(guó)內(nèi)的人臉數(shù)據(jù)庫(kù)建設(shè)工作也取得一定成就，中國(guó)人臉識(shí)別研究的發(fā) 展必須要有具有中國(guó)人特征的人臉數(shù)據(jù)庫(kù)支撐。目前國(guó)外的公開人臉庫(kù)都是西方 人臉庫(kù)，對(duì)研究具有東方人特征的人臉識(shí)別有一定的局限性，所以必須建立我們 自己的數(shù)據(jù)庫(kù)。中科院計(jì)算所在國(guó)家“8 6 3 ”計(jì)劃和國(guó)家自然基金的資助下建立 了c a s p e 矗l 大規(guī)模中國(guó)人臉圖像數(shù)據(jù)庫(kù)蚰】 4 ”，該數(shù)據(jù)庫(kù)中包含了1 0 4 0 名中國(guó)人 共9 9 4 5 0 幅頭肩部圖像。所有圖像在專門的采集環(huán)境中采集，涵蓋了姿態(tài)、表情、 飾物和光照4 種主要變化條件，部分人臉圖像具有背景、距離和時(shí)間跨度的變化， 對(duì)推動(dòng)國(guó)內(nèi)人臉識(shí)別技術(shù)的研究將有積極的影響：由于二維圖像本身的三維信息 缺失，基于傳統(tǒng)二維人臉圖像分析的方法在處理人臉三維結(jié)構(gòu)問(wèn)題時(shí)遇到諸多困 難，如人臉的姿態(tài)、光照等問(wèn)題，而三維人臉模型在三維信息分析方面的優(yōu)勢(shì)日 益突顯，一些新的人臉識(shí)別方法正是基于三維模型來(lái)解決光照、姿態(tài)等問(wèn)題。因 此，建立三維人臉數(shù)據(jù)庫(kù)是人臉識(shí)別方面研究的迫切需要。目前國(guó)內(nèi)在三維人臉 第2 章人臉識(shí)別研究概述 信息處理方面的研究相對(duì)比較滯后，尤其是三維人臉數(shù)據(jù)庫(kù)的創(chuàng)建，而國(guó)外的三 維人臉數(shù)據(jù)庫(kù)并不適合中國(guó)人的特征，建立中國(guó)人的三維人臉庫(kù)也具有重大的意 義。北京工業(yè)大學(xué)多媒體與智能軟件技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室( m i s k l ) 自行設(shè)計(jì)創(chuàng) 建了b j u t 3 d 大規(guī)模中國(guó)人三維人臉數(shù)據(jù)庫(kù)，b j u t 3 d 數(shù)據(jù)庫(kù)的建立得到了國(guó) 家自然基金、北京市自然基金的資助。b t - 3 d 數(shù)據(jù)庫(kù)包含了1 0 2 6 名中國(guó)人，其 中男4 4 4 人，女5 8 2 人。每個(gè)人包含了切割后的人臉三維數(shù)據(jù)、基于人臉特征分片 后的數(shù)據(jù)、四種分辨率下重采樣對(duì)齊后的人臉三維數(shù)據(jù)。所有三維原始數(shù)據(jù)在專 門的采集環(huán)境中采集，通過(guò)c y b e r w a r e 人臉專用掃描儀獲取，相信該數(shù)據(jù)庫(kù)的創(chuàng) 建對(duì)國(guó)內(nèi)外的人臉識(shí)別研究會(huì)產(chǎn)生積極的作用。 2 3 人臉識(shí)別經(jīng)典方法 人臉識(shí)別研究經(jīng)過(guò)幾十年的發(fā)展，人們提出了許多識(shí)別方法，特別是9 0 年代 后，新的方法不斷出現(xiàn)，而且每年都有大量關(guān)于人臉識(shí)別技術(shù)的論文發(fā)表。且前 人臉識(shí)別技術(shù)的發(fā)展好像有“泛濫成災(zāi)”的趨勢(shì)，同時(shí)也有“江郎才盡”的感覺(jué)， 一方面是每年都有許多新的識(shí)別方法提出，另一方面人臉識(shí)別中的難點(diǎn)問(wèn)題仍未 解決。在人臉識(shí)別技術(shù)發(fā)展過(guò)程中，出現(xiàn)了一些經(jīng)典的人臉識(shí)別算法，其它的方 法大都是對(duì)這些經(jīng)典算法的改進(jìn)或集成。同時(shí)每個(gè)算法都有自己的優(yōu)勢(shì)與不足， 不同的算法適合于不同的場(chǎng)合，本小節(jié)對(duì)經(jīng)典的人臉識(shí)別算法進(jìn)行了分析與總 結(jié)。 2 3 1e i g e n f a c e e i g e n f a c e 方法 ”，是利用主序元分析進(jìn)行特征提取的人臉識(shí)別方法，由于 其在降維及特征提取方面的有效性，在人臉識(shí)別領(lǐng)域得到了廣泛的應(yīng)用，其后的 很多人臉識(shí)別技術(shù)都或多或少與e i g e n f a c e 有關(guān)系。該方法假設(shè)人臉處于低維線 性子空間，而低維子空間的基是通過(guò)分析人臉訓(xùn)練樣本集的統(tǒng)計(jì)特性來(lái)獲取。通 過(guò)對(duì)人臉樣本集的散度分布矩陣進(jìn)行k l 變換來(lái)求得一組正交的特征向量“1 。 2 ，脅，其對(duì)應(yīng)的特征值分別為五l ，五2 ，加，稱這組正交向 量為e i g e n f h e 。那么人臉樣本可以表示為： 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 n x = 口f 叫f ( 2 1 ) j 。 l = l 若取前m ( m p ( l q f ) ，則認(rèn)為是同人臉圖像，否則認(rèn)為是不同 人臉圖像。該方法在分類過(guò)程中應(yīng)用了各類分布的先驗(yàn)信息，在訓(xùn)練樣本豐富的 情況下可以在一定程度上克服光照、姿態(tài)和表情對(duì)人臉識(shí)別的影響。f e i t e t 9 6 測(cè)試表明，該方法具有最好的識(shí)別效果，其識(shí)別性能明顯優(yōu)于其它方法。 2 3 4 基于彈性圖匹配的方法 基于彈性圖匹配( e 1 a s t i cb 1 1 i l c hg r 印hm a t c h i n 舀e b g m ) 的識(shí)別方法也是人 臉識(shí)別中的重要方法1 8 1 ，其基本思想是用一個(gè)屬性圖( e b g ) 來(lái)表示人臉，屬