通過基于GaborEye模型的人眼定位方法實現(xiàn)人臉定位與識別-畢業(yè)論文

廈門大學(xué)本科畢業(yè)論文本科畢業(yè)論文(科研訓(xùn)練、畢業(yè)設(shè)計)題 目：通過基于GaborEye模型的人眼定位方法實現(xiàn)人臉定位與識別姓 名：學(xué) 院：軟件學(xué)院系：軟件工程專 業(yè)：軟件工程年 級： 學(xué) 號：指導(dǎo)教師（校內(nèi)）： 職稱： 年 月通過基于GaborEye模型的人眼定位方法實現(xiàn)人臉定位與識別 摘要 目前在人臉定位領(lǐng)域，基于GaborEye模型的人眼定位法得到了長足的發(fā)展。眼睛是人臉上最重要的面部標(biāo)志，一張精確標(biāo)準(zhǔn)的人臉是鑒定和執(zhí)行面部分解關(guān)鍵，它取決于兩只眼睛的位置以及兩眼間的距離。一種新型的GaborEye模型瞳孔定位方法：基于在眼睛與眉毛間區(qū)域的特殊灰度分布，一個適當(dāng)?shù)腉abor內(nèi)核可以圍繞臉突出眼睛與眉毛之間的區(qū)域有效的用于分割兩個瞳孔間的區(qū)域。在取得瞳孔區(qū)域后，使用一個高速輻射對稱算子來尋找瞳孔的中心。經(jīng)過廣泛的實驗證明這種方法可以精確的定位瞳孔位置，即使在變化的面部姿態(tài)、表情、附屬物以及不同的光照情況下。瞳孔定位的方法可以有效的實現(xiàn)人臉的檢測與定位，從而進一步的實現(xiàn)人臉的識別。關(guān)鍵詞 瞳孔定位，GaborEye模型，人面識別，輻射對稱算子Pupil Localization Method Based On GaborEye Model And Radial Symmetry Operator Realization Face Localization And RecognitionAbstract In the area of human face locating, methods using a GaborEye model has been developed very soon。The eyes are the most important facial landmarks on the human face. The accuracy of face normalization, which is critical to the performance of the following face analysis steps, depends on the locations of the two eyes, as well as their relatively constant interocular distance. A novel GaborEye model for eye localization. Based on the special gray distribution in the eye-and-brow region, a proper Gabor kernel is adaptively chosen to convolute with the face image to highlight the eye-and-brow region, which can be exploited to segment the two pupil regions efficiently. After getting the region of the pupil, a fast radial symmetry operator is used to locate the center of the pupil. Extensive experiments show that the method can accurately locate the pupils, and it is robust to the variations of face poses, expressions, accessories and illuminations.The pupil localization method can efficiently realization the face inspection and localization, Accordingly realization face recognition.Key words pupil localization, GaborEye Model, face recognition, radial symmetry operator目 錄第一章 引言71.1人臉定位概述及其與人臉識別的關(guān)系71.2人臉定位算法81.3人眼分割和基于GaborEye模型的人眼定位算法91.4人面身份識別系統(tǒng)設(shè)計目標(biāo)9第二章 選題背景102.1人臉識別技術(shù)綜述102.2人面身份識別系統(tǒng)的開發(fā)工具和開發(fā)流程11第三章 GaborEye簡介153.1GaborEye基本理論153.2GaborEye簡介163.3GaborEye的測試17第四章 基于GaborEye的人眼定位方法214.1概述214.2眼睛與眉毛區(qū)域的分割214.3瞳孔區(qū)域的分割234.4精確定位瞳孔中心24第五章 人臉特征提取與識別255.1概述255.2基于特征臉的方法簡介255.3基于特征臉方法的發(fā)展情況255.4基于特征臉方法的優(yōu)劣26第六章人臉識別系統(tǒng)的整體框架276.1人臉識別系統(tǒng)整體結(jié)構(gòu)框架綜述276.2人臉檢測模塊276.3照片處理模塊276.4自動識別模塊276.5檢測結(jié)果輸出模塊28第七章 結(jié)束語29致謝30參考文獻31ContenceFirst chapter Introduction81.1The relationship between face localization conspectus and face recognition.81.2The algorithms of face localization.81.3Segmentation the eye and pupil localization method based on gaboreye model.81.4Design object of face recognition system.9Second chapter Backdrop of subject chosen112.1 Face localization technic conspectus.112.2 Exploitation tool and flow in face recognition system12Third chapter GaborEye163.1GaborEye theoretics163.2GaborEye brief introduction173.3GaborEye test.18Fouth chapter Roubust gaboreye-based pupil localization method214.1Summarize214.2Segmentation of the eye-and-brow region.214.3Segmentation of the pupil region.234.4Accurate localization of the center pupils.24Fifth chapter Pick up character of the face and recognition255.1Summarize255.2Characteristic face-based metthod.255.3The development of characteristic face-based metthod255.4The excellent and inferior of characteristic face-based metthod.26Sixth chapter Configuration of face recognition system276.1Summarize276.2Module of face back-check.276.3Module of photo disposal.276.4Module of recognition.276.5Module of result disposal28Seventh chapter Unquote29Express teachers and students thanks to30Referrnce31第一章 引言1.1人臉定位概述及其與人臉識別的關(guān)系這個畢設(shè)所涉及到的是人臉的定位和識別。簡單來說，所謂人臉的定位，就是在照片(靜態(tài)圖像)或視頻(動態(tài)圖像)中標(biāo)出人臉?biāo)诘奈恢?，把人臉選取出來。而人臉的識別就是把選取出來的人臉與數(shù)據(jù)庫中已有的人臉進行比較，找出匹配的檔案來。有的文獻把人臉的定位和識別統(tǒng)稱為人臉識別，定位和識別則是兩個主要的步驟。完整的人臉識別系統(tǒng)涉及到?jīng)Q定照片或視頻中有無人臉，并計數(shù)，定位，定出大小，然后根據(jù)數(shù)據(jù)庫識別出個人，可能的話還要識別表情，以及根據(jù)臉的圖像做出描述（瓜子臉，丹鳳眼等等就是日常生活中“描述”的例子），或者反過來根據(jù)描述挑選匹配的人臉圖像。在日常生活中，我們主要根據(jù)臉來識別一個人。交談中，我們往往看著對方的臉，尤其是眼睛。臉上的表情也是進行交談的一個重要部分。所以，人臉在人與人的交流過程中起著極其重要的作用。這就決定了在現(xiàn)代社會中，使用計算機自動進行人臉的定位和識別工作有著重要的意義。其應(yīng)用領(lǐng)域包括很多方面，比如身份鑒別，保安系統(tǒng)，人機交互界面等等。人臉識別系統(tǒng)雖然有誘人的應(yīng)用前景，但是在現(xiàn)實中卻還沒有開始大規(guī)模的使用。其主要原因之一就是用計算機自動進行人臉的定位和識別十分困難，目前的識別效果（正確率，速度）不如其他的生物識別技術(shù)，如指紋識別，視網(wǎng)膜識別等等。人們在日常生活中就進行了大量的人臉定位和識別工作，當(dāng)然全部是由人的視覺系統(tǒng)和大腦“自動”進行的。目前還不清楚人的視覺系統(tǒng)和大腦的工作原理，因此這項人可以輕而易舉完成的任務(wù)，對于目前還只會死板地執(zhí)行程序指令的計算機來說卻是極端困難。困難主要存在于兩個方面：1. 人臉的圖像數(shù)據(jù)具有高度的隨機性。光照條件，臉的偏向，表情，發(fā)型，胡子，化妝， 衣飾（眼鏡，帽子）等等略有變化，就可以給識別系統(tǒng)帶來巨大的困難。2. 人臉的圖像數(shù)據(jù)量巨大。目前出于計算量的考慮，人臉定位和識別算法研究大多使用尺寸很小的灰度圖像。一張6464像素的256級灰度圖像就有4096個數(shù)據(jù)，每個數(shù)據(jù)有256種可能的取值。定位和識別算法一般都很復(fù)雜，在人臉庫較大的情況下，計算量十分大，很多情況下速度令人難以忍受。而灰度數(shù)據(jù)事實上是喪失了象色彩，運動等等的有用信息的。如果要使用全部的有用信息，計算量就更大了。因此，研究人臉的定位和識別不僅僅有實用上的考慮，而且對人們理解人腦的工作方式、研究人工智能和數(shù)字圖像處理有重要的意義。1.2人臉定位算法從模型匹配的方法來看，目前的人臉定位算法可以粗略地分為兩大類：第一類是利用人臉各器官之間的幾何關(guān)系的方法；第二類是利用標(biāo)準(zhǔn)人臉圖像或者其變換結(jié)果直接或者經(jīng)特征提取后進行匹配的方法。第一類方法利用了明顯的先驗知識，因而方法簡單明了，執(zhí)行速度較快，對人臉的方向和表情有一定的適應(yīng)性（在一定的變化范圍內(nèi)面部特征的相對幾何關(guān)系變化很?。? 但是準(zhǔn)確率往往不高（漏判和誤判），而且對預(yù)處理要求高，依賴于所有面部特征都完整地被提取，所以對轉(zhuǎn)角較大的側(cè)臉, 光照極度不均勻, 部分臉被遮蔽（眼鏡, 圍巾等）適應(yīng)性不好。第二類方法利用了更多的圖像信息, 準(zhǔn)確率高，不易受欺騙；缺點是計算量大，而且使用的人臉模板受人臉庫中已有資料的影響，可能會有通用性不好的問題（比如不同人種的人臉模板不能通用）。利用人臉各器官之間的幾何關(guān)系的方法的典型例子可以參見Shi-Hong Jeng, Hong Yuan Mark Liao等人的文章。而利用標(biāo)準(zhǔn)人臉圖像或者其變換結(jié)果直接或者經(jīng)特征提取后進行匹配的方法的典型例子可以參見Toshiaki Kondo和Hong Yan的工作。利用人臉各器官之間的幾何關(guān)系的方法可以作為完整的人臉定位算法的一個基礎(chǔ)， 就是說利用幾何匹配先大致找到圖像中的人臉（可能含有很多錯誤），然后使用利用標(biāo)準(zhǔn)人臉圖像或者其變換結(jié)果直接或者經(jīng)特征提取后進行匹配的方法來確證，剔除實際不是人臉的區(qū)域。這樣既可以利用第一類方法的速度優(yōu)勢，又可以利用第二類方法的準(zhǔn)確度優(yōu)勢。1.3人眼分割和基于GaborEye模型的人眼定位算法基于GaborEye模型的人眼定位方法，包括以下步驟：第一步，通過人臉檢測方法采集人臉圖像，根據(jù)人臉檢測模塊獲取到的人臉圖像的大小，采用適當(dāng)?shù)腉abor核對人臉圖像進行卷積，定義這個卷積后的人眼所在區(qū)域為GaborEye；第二步，基于GaborEye模型進行眼部區(qū)域分割，對分割后的結(jié)果進行合理性判定，確定兩眼各自所在的區(qū)域；第三步，在確定的區(qū)域中采用積分投影的方法精確確定人眼的中心位置；第四步，完成對整個人臉圖像中人眼的定位并將定位結(jié)果輸出，結(jié)束。1.4人面身份識別系統(tǒng)設(shè)計目標(biāo)本課題的目標(biāo)時完成一個獨立且完整的人臉身份自動識別系統(tǒng)，主要包括一下3個功能：（1） 人臉的檢測于自動人臉跟蹤；（2） 人臉的特征點定位與人臉的對齊；（3） 特征提取和分類；該系統(tǒng)具有用戶注冊（Enroll）、系統(tǒng)更新和維護、識別身份幾個主要功能，可對視頻流中的人臉進行實時的檢測，追蹤和識別。第二章 選題背景2.1人臉識別技術(shù)綜述人臉識別技術(shù)包含人臉檢測，人臉追蹤與人臉對比等課題。人臉檢測是指在動態(tài)的場景與復(fù)雜的背景中，判斷是否存在人臉并分離出人臉；人臉追蹤是指對被檢測到的人臉進行動態(tài)目標(biāo)跟蹤，人臉對比是指對檢測到的人臉進行身份確認(rèn)或者在人臉數(shù)據(jù)庫中進行目標(biāo)搜索。人臉檢測分為參考模版、人臉規(guī)則、樣本學(xué)習(xí)、膚色模型與特征子臉等方法。參考模版方法首先設(shè)計一個或數(shù)個標(biāo)準(zhǔn)人臉模版，然后計算測試樣本與標(biāo)準(zhǔn)模版之間的匹配程度，通過計算機對比來判斷是否存在人臉；人臉具有一定的結(jié)構(gòu)分布特征，人臉規(guī)則即提取這些特征生成相應(yīng)的規(guī)則，以判斷是否測試樣本中包含人臉；樣本學(xué)習(xí)則采用模式識別中人工神經(jīng)網(wǎng)絡(luò)方法，通過對人臉樣本集和非人臉樣本集的學(xué)習(xí)產(chǎn)生分類器；膚色模型依據(jù)人臉膚色在色彩空間中分布相對集中的規(guī)律來進行檢測；特征子臉將所有人臉集合視為一個人臉子空間，基于檢測樣本與其在子空間的投影之間的距離判斷是否存在人臉。上述方法在實際系統(tǒng)中也可綜合采用。人臉跟蹤一般采用基于模型的方法或者基于運動與模型相結(jié)合的方法，此外，膚色模型跟蹤也不失為一種簡單而有效的手段。人臉對比從本質(zhì)上講是采樣人臉與庫存人臉的依次對比并找出最佳匹配對象。因此，人臉的描述決定了人臉識別的具體方法與性能。目前主要有特征向量與面紋模板兩種描述方法。特征向量法是先確定眼虹膜，鼻翼，嘴角等人臉五官輪廓的大小，位置，距離，角度等等屬性，然后計算出它們的幾何特征量，這些特征量形成一個描述改人臉的特征向量；面紋模板法則在庫中存儲若干標(biāo)準(zhǔn)人臉模板或者人臉器官模板，在對比時采用人臉?biāo)邢笏嘏c庫中所有模板相關(guān)量度量進行匹配。人臉識別系統(tǒng)則采用“局部特征分析”（Local Feature Analysis，LFA）算法，該算法速度快，誤認(rèn)率低，無需學(xué)習(xí)，利用人臉各器官及特征部位的方位，比例，對應(yīng)幾何關(guān)系等數(shù)據(jù)形成識別參數(shù)即可與數(shù)據(jù)庫中所有原始參數(shù)比較，判斷，確認(rèn)。與其他生物識別技術(shù)，諸如指紋識別，掌形識別，眼虹膜識別和聲音識別相比較，人臉識別具有以下兩點特征：(1) 其他每種生物識別方法都需要被識別者配合動作，而人臉識別可以自動用于隱蔽的場合進行，不需要被動配合，如公安部門的監(jiān)控行動。(2) 當(dāng)記錄一個企圖登錄者的生物記錄時，只有人臉識別能更直觀，更方便的核查該人的身份。由于與傳統(tǒng)的生物識別技術(shù)相比，人臉識別具有更為簡便，準(zhǔn)確，經(jīng)濟及可擴展性良好等眾多優(yōu)勢，可廣泛的應(yīng)用于安全驗證，監(jiān)控，控制等多個方面。2.2人面身份識別系統(tǒng)的開發(fā)工具和開發(fā)流程2.2.1系統(tǒng)開發(fā)過程C+ 的動態(tài)庫源程序;在VC + 下進行修改并編譯成動態(tài)庫,在VC + 的數(shù)據(jù)庫應(yīng)用系統(tǒng)中就可以調(diào)用動態(tài)庫函數(shù)對照片進行訓(xùn)練和識別了。面像識別部分主要流程如圖21 所示圖21 人面識別方法流程2.2.2數(shù)據(jù)庫系統(tǒng)的建立 在VC + 下利用MFC的記錄集類或ADO 等方法建立數(shù)據(jù)庫系統(tǒng)。數(shù)據(jù)庫使用SQL，ACCESS或DBF等均可,都有相應(yīng)的字段可保存照片?？紤]到節(jié)省存儲空間,照片圖像,采用JPG 格式。在VC+下，顯示JPG 格式圖像要麻煩一些。為了簡單起見,使用Richard C. Image Object 類庫,可以很容易在對話框上顯示JPG 等格式的圖像。2.2.3照片預(yù)處理為了對照片進行訓(xùn)練，要將所有的照片放大或縮小到統(tǒng)一的尺寸。為了節(jié)省空間,將所有照片縮至128128 像素,用MATLAB 的函數(shù)很容易實現(xiàn)。還需用后面所述的方式將對照片預(yù)處理的MATLAB 程序編譯成動態(tài)庫，然后在VC+的函數(shù)中調(diào)用。如果照片中含有噪聲，需要將其濾除。如果照片的光線不足或過強,還需要調(diào)整灰度，使其達到最佳效果。2.2.4照片訓(xùn)練采用DCT 變換方法進行訓(xùn)練。每個人用5 張128128像素的照片,讀入后分別進行DCT 變換, 得到128128 系數(shù)矩陣。圖像的能量主要集中在低頻部分，一般情況下，只要取矩陣中系數(shù)較大的低頻分量作為圖像的特征進行訓(xùn)練就可以了。這里使用的JPG圖像為有損壓縮圖像，而且照片又曾被縮小，為了保證識別率，可以多取一些DCT系數(shù)進行訓(xùn)練。將訓(xùn)練用的5張照片的DCT系數(shù)矩陣相加,求出平均值作為訓(xùn)練數(shù)據(jù)保存在文件中，供以后識別用。由于照片有彩色和黑白之分,使讀入的照片矩陣的維數(shù)不同，因而，照片讀入后要統(tǒng)一轉(zhuǎn)化為2維矩陣再進行DCT變換。作為識別的特征，如果都是彩色照片,則分別對每一個2維矩陣進行DCT變換即可。訓(xùn)練時,為區(qū)分不同的照片,須先建立照片的文件名和人員編號對照表文件。在VC+下，由用戶將照片文件名和人員編號輸入到數(shù)據(jù)庫中,然后由程序?qū)?shù)據(jù)取出，寫入到文本文件“train name. txt”中。訓(xùn)練程序用MATLAB 編寫.MATLAB 程序文件名為mtrains. m , 其中的函數(shù)名為function train ()。訓(xùn)練程序設(shè)計的要點如下:從文本文件“train name. txt”中讀出照片文件名和人員編號;將照片文件讀到矩陣中;轉(zhuǎn)化為2維矩陣并對2維矩陣進行DCT變換;將具有相同人員編號的DCT 矩陣相加并求平均值;將該人員的平均矩陣寫入文件“TainData”;將該人員編號寫入文件;計算出每個人的訓(xùn)練數(shù)據(jù)并寫入文件。2.2.5照片識別將要識別的照片讀入矩陣后,對其2維矩陣進行DCT變換。取出DCT系數(shù),從保存訓(xùn)練數(shù)據(jù)的文件“TainData”中依次取出每人的訓(xùn)練數(shù)據(jù),求出其與要識別的照片DCT系數(shù)矩陣的距離,并給出距離最小的前三名。距離最小者為識別出的照片,其余供參考。根據(jù)識別出的人員編號,從數(shù)據(jù)庫中可查出該人員的有關(guān)情況. 照片識別的MATLAB 程序建立在文件mfind. m中,其函數(shù)名為function mfind (fname) ,形參fname 為要識別的照片的文件名. 主要識別步驟如下:將要識別的照片文件fname 讀為矩陣；將該矩陣轉(zhuǎn)化為2維矩陣;對2維矩陣進行DCT 變換；從文件“TainData”中讀出訓(xùn)練數(shù)據(jù)并計算出與被識別照片DCT 矩陣的距離；將距離最小的前三名訓(xùn)練數(shù)據(jù)對應(yīng)的編號保存到文件sbh. txt 中。距離最小者即為識別出的照片,其他供參考。2.2.6用MATCOM編譯成C+動態(tài)庫源程序為了能夠在VC+下調(diào)用訓(xùn)練和識別程序,需要對MATLAB程序進行編譯。用MATLAB 的mcc是不行的,只有用MATCOM。這里使用MACOM4.5.MATCOM可以將MATLAB 程序編譯成動態(tài)庫,也可以編譯成可執(zhí)行文件。我們將MATLAB 程序編譯成動態(tài)庫。由于需要對生成的代碼進行修改,使用生成的C+動態(tài)庫源代碼而不使用編譯成的動態(tài)庫。把生成的C+動態(tài)庫源代碼加入到VC+中進行修改,然后再編譯成動態(tài)庫。2.2.7用VC+修改動態(tài)庫源代碼用VC+6.0新建一個Win32 Dynamic-Link Library項目ctrain ,將MATCOM編譯成的C+頭文件和源文件復(fù)制到新建項目的ctrain 文件夾下,將MTCOM 4. 5 的lib下的matlib. h 和v4500 v. lib兩文件也復(fù)制到ctrain文件夾下。用UltraEdit 或其它詞處理程序建立一個擴展名為.def 的文件,將動態(tài)庫的入口函數(shù)名寫入, 然后添加到ctrain 項目中。ctrain. def 文件內(nèi)容如下：；ctrain. def: Declares the module parameters for the DLL.LIBRARY“ctrain”DESCRIPTION ctrain Windows Dynamic Link LibraryEXPORTS Mycall; Explicit exports can go here其中,Mycall是在mtrains. cpp中新添加的入口函數(shù)名,在Mycall中調(diào)用訓(xùn)練用的函數(shù)mtrains () ,然后進行編譯,生成動態(tài)庫ctrain. Dll。用同樣方法將識別用的MATLAB 程序mfind。m編譯成動態(tài)庫cfind. dll , 但在入口函數(shù)Mycall 中需要將形參由char ,類型轉(zhuǎn)換為類Mm 類型.。2.3.8在VC上調(diào)用動態(tài)庫進行訓(xùn)練和識別為“照片訓(xùn)練”和“照片識別”菜單項分別加入消息映射函數(shù),在消息映射函數(shù)中調(diào)用動態(tài)庫進行訓(xùn)練或識別. 可用如下方法調(diào)用動態(tài)庫. 將ctrain. dll ,cfind. dll ,ctrain. lib 和cfind. lib 復(fù)制到當(dāng)前文件夾下，并將ctrain. lib 和cfind. lib 加入項目,在用于照片訓(xùn)練的菜單項的消息映射函數(shù)中添加代碼:void Mycall () ;Mycall () ;這里的動態(tài)庫是無需改變的,因此,采用隱式調(diào)用方式. 用同樣的方法為“照片識別”菜單項的消息映射函數(shù)添加如下代碼：If (dg. Domodal()=IDOK) void Mycall(char*); UpdateData(ture); Char*fname=dg.m_fname.GetBuffer(10); Mycall(fname); else MessageBox (“退出檢索”)其中,dg 是對話框類對象。在對話框的編輯框中輸入要檢索照片的文件名,取出后由Cstring 類轉(zhuǎn)換為char 類型,然后作為實參調(diào)用動態(tài)庫進行識別。上述函數(shù)執(zhí)行后,識別出來的人員編號已經(jīng)保存在文本文件sbh. txt 中。從sbh. txt 取出人員編號,根據(jù)編號,從數(shù)據(jù)庫中查出相關(guān)人員的資料,將結(jié)果在顯示屏幕上顯示出來。第三章 GaborEye簡介3.1GaborEye基本理論該方法涉及模式識別與人工智能技術(shù)，特別是一種自動定位人臉圖像中人眼中心位置的方法。采用人臉檢測算法通過攝像頭采集人臉圖像，對獲取的初始人臉圖像，根據(jù)人臉圖像的大小，選擇合適Gabor內(nèi)核函數(shù)對人臉圖像進行卷積，再進行形態(tài)學(xué)上的膨脹處理，得到的GaborEye模型；基于GaborEye模型，分割出人臉圖像中兩眼所在的區(qū)域；針對分割出來的結(jié)果進行合理性分析，如果不符合，重新進行分割；如果分割合理，則利用積分投影的方法精確定位人眼中心的準(zhǔn)確位置。本發(fā)明方法可以滿足多數(shù)人臉識別系統(tǒng)的需要，定位特征點后，可獲取高可信度的歸一化圖像，提高識別算法的性能，使人臉識別實際應(yīng)用能力得到提高。3.2GaborEye簡介兩只眼睛是人臉上最突出的部分，在一個人臉上,眼睛也有特殊的特征-兩個由于瞳孔的灰度而豐富的優(yōu)勢，通過光線強弱的突然改變來分割眼睛和眉毛之間的區(qū)域。因此，眼和眉間區(qū)域，一個2D信號具有特定的頻率特性， 這將大大不同于臉部的其它位置。 因此，為了分割眼睛和眉毛之間的區(qū)域，一個很自然的想法是選擇一個適當(dāng)?shù)膸V波器的來提高眼睛和眉毛 區(qū)域的信號，而減少其它區(qū)域的信號。此外，信號在眼睛和眉毛區(qū)域包含更多的變化，與人臉的其他區(qū)域相比方向是眼睛與眉毛的顯著特點，眼睛和眉毛的方向都是水平方向，而不是垂直方向，在面對考慮頻率和定位特色的眼睛和眉地區(qū)，Gabor濾波器將是一個自然的選擇, 因為它已表明它能夠捕捉鮮明的視覺特性,例如空間定位，方向選擇性，時空頻率特性。常用的Gabor內(nèi)核公式如下列所示：其中，表示頻率，f 是一個常數(shù)空間因子，然而是一個震動波函數(shù)，他的實部和虛部由余弦函數(shù)和正弦函數(shù)來區(qū)別。它已經(jīng)表明在Gabor內(nèi)核中值得注意的是帶通濾波器的Gaussian window有別于其他帶通濾波器的矩形窗口。確定和，在頻率域上，envelop curve的Gabor內(nèi)核位于高斯函數(shù)的中心 ( u , v ) , 以及相應(yīng)的中心頻率隨窗口移動。因此，千伏完全確定位置的Gabor kernel在頻域，如果FU管制取向Gabor 內(nèi)核是永恒的。換言之，美國的參數(shù)equation.1管制取向的過濾器，即品種參數(shù)定頻中心(規(guī)模)的過濾器。從我們可以看出我們可以看到較大v意味著較小的U , V ,即當(dāng)v變大, 該中心頻率的Gabor內(nèi)核會接近原點（圖31所示）圖31 Gabor 內(nèi)核在1D中的空間域（a）和頻域（b）3.3GaborEye的測試為了驗證Gabor濾波器在眼睛與眉毛區(qū)域的效果，進行了實驗，5級v 0 ,., 4 )和五個方向u ( 0,1,2,6,7 )所選擇的Gabor小波. 圖32顯示了真實的一部分,這些Gabor內(nèi)核的參數(shù)如下：和。圖32中不同頻率(級)和方向的內(nèi)核，可以清晰地觀察到Gabor內(nèi)核的變化。圖32 Gabor內(nèi)核的實部當(dāng)一個人臉圖像通過這些濾波器組件具體的長度和方向來打壓人臉的各個部分圖33和圖34顯示了兩個例子, 以突出兩個重點區(qū)域眼睛和眉毛區(qū)域原貌的形象是其最顯著的特點，這表明一些適當(dāng)?shù)腉abor 內(nèi)核也有出色的眼睛和眉毛區(qū)域的選擇性。因此，可以得出這樣的結(jié)論：convoluting臉的Gabor內(nèi)核能妥善的提取不同頻率的特征眼睛區(qū)域達到分割的目的。我們把具有代表性的眼睛和眉頭區(qū)域命名為GaborEye。當(dāng)頻率和方向土石內(nèi)核媲美的眼科地區(qū) 眼睛的地區(qū)可大大增強。我們注意到由于高頻率的變化也可能對眉毛區(qū)域有一定的影響，因此該中心的重點區(qū)域并不一定適合中心的比較大的眼睛來定位眼睛和眉毛之間的區(qū)域。圖33 眼睛與眉毛區(qū)域的Gabor內(nèi)核.左上角：原來的臉 右：各種不同大小方向的濾波器圖像左下角：經(jīng)過各種濾波器整合的圖像圖34 不同姿態(tài)的人臉的Gabor內(nèi)核.（a） 標(biāo)準(zhǔn)的人臉（b） 量級的圖像（c） a與b的混合（d） 使用Gabor變換的圖像 很明顯,重要的是要選擇正確的Gabor內(nèi)核。幸運的是，通過分析人臉圖像的特征，我們可以選擇適當(dāng)?shù)腉abor內(nèi)核。一般來說，一個人臉檢測模塊提供尺寸粗糙的臉，可用于范圍挑選。我們使用sh來挑選Gabor內(nèi)核的尺寸，其中s為Gabor內(nèi)核的尺寸，h是人臉檢測的高度，而是一個常數(shù)圖35的結(jié)果展示了圍繞標(biāo)準(zhǔn)的Gabor內(nèi)核來制定我們的策略。 （a） （b） （c）圖35 自適性Gabor變換（a） 原始圖像（b） 量級Gabor變換：眼睛與眉毛間的區(qū)域重點選擇（c） b重疊在a上后的合成圖像第四章 基于GaborEye的人眼定位方法4.1概述我們使用一個由壞到好的瞳孔分割策略。在分割的第一步,我們使用的Gabor內(nèi)核規(guī)模，提高了相對低頻區(qū)使眼睛與眉毛區(qū)域而顯得更加的突出。然后，我們采取了Gabor內(nèi)核的小波變換提取相對高頻的瞳孔區(qū)域。與傳統(tǒng)的按部就班的方式,這種策略能在一個較小尺度的范圍類防止假警報。一種基于GaborEye模型的人眼定位方法，包括以下步驟：第一步，通過人臉檢測方法采集人臉圖像，根據(jù)人臉檢測模塊獲取到的人臉圖像的大小，采用適當(dāng)?shù)腉abor核對人臉圖像進行卷積，定義這個卷積后的人眼所在區(qū)域為GaborEye；第二步，基于GaborEye模型進行眼部區(qū)域分割，對分割后的結(jié)果進行合理性判定，確定兩眼各自所在的區(qū)域；第三步，在確定的區(qū)域中采用積分投影的方法精確確定人眼的中心位置；第四步，結(jié)束，完成對整個人臉圖像中人眼的定位，將定位結(jié)果輸出。4.2眼睛與眉毛區(qū)域的分割基于GaborEye ,我們采用了以下步驟來分割的眼睛和眉地區(qū):1. 形態(tài)預(yù)處理；擴張。為了復(fù)蓋眼部及眉毛區(qū)域，我們采取的形態(tài)算子擴張，擴大GaborEye區(qū)域。2. 完整的GaborEye區(qū)域設(shè)計；在分析人臉的知識結(jié)構(gòu)之前，我們假定眼睛位置的矩形面積，其頂部是h / 4從頂部的形象和底部 為2h / 3從它( H是人臉的高度)，在完整的長方形做垂直方向的投影的話，那么得到的投影圖像如圖41所示。3. 分析投影曲線；分開左眼的區(qū)域和右眼的區(qū)域，找到兩個最大值，然后在這兩點間找到最小值Gmin，用于分割兩眼的區(qū)域，標(biāo)記兩只眼睛為El和Er。4. 在El和Er之間搜索最大灰度值；標(biāo)記兩個最大灰度值為Glmax和Grmax，在初始圖像中添加參數(shù)Tl和Tr分別對應(yīng)El和Er。其中Tla*Glmax，Tra*Grmax。a為一個經(jīng)驗系數(shù)其值為0.85。圖42（a）是經(jīng)過初始處理后的典型圖像。5. 分割眼睛與眉毛之間的區(qū)域；搜索連接El和Er區(qū)域的最大值，其外矩形區(qū)域標(biāo)記為Rl和Rr，如圖42（b）所示的結(jié)果。Hl，Hr分別是兩個矩形的高度。綜上所述，兩個矩形的中心并不是兩只眼睛的中心，他們被標(biāo)記在眉毛和上眼皮之間的區(qū)域，這個實驗充分的證明這兩個矩形不能充分的覆蓋兩只眼睛的區(qū)域，特別是當(dāng)特征臉的眉毛是黑色的時候。因此，為了確保我們分割出來的眼睛與眉毛之間區(qū)域中包含眼睛，我們將使用以下的策略：我們擴張Rl再其底部加上長度Hl，Rr的底部加上長度Hr（Hl是Rl的高，Hr是Rr的高）。然后選擇Rl和Rr中底部最大的矩形，如圖42(c)所示。我們不對Rl及Rr進行水平方向的擴張是因為GaborEye是水平方向的。圖41 完整垂直投影分割的兩眼區(qū)域圖42 標(biāo)記眼睛的區(qū)域（a） 覆蓋兩眼的區(qū)域（b） 再兩眼外加矩形（c） 分割眼睛和眉毛的區(qū)域4.3瞳孔區(qū)域的分割把Gabor小波變換應(yīng)用到Rl和Rr的選定區(qū)域，首先從矩形區(qū)域中分離眼睛，從而將瞳孔區(qū)域分離出來。圍繞Gabor內(nèi)核應(yīng)用于Rl和Rr的顯示如下：4個量度：0，.，3，定位為0度，u=0時總有=2，kmax=1.5。較大kmax ,是因為有更多的高頻率信息,在該地區(qū)是在上眼瞼和下眼瞼。小波變換gabor內(nèi)核是方程. 圖4-3為例convoluting與選定地區(qū)，我們可以得到兩個積分投影曲線在X和Y方向. max_x是最高的價值積分投影曲線在X方向的相對位置,是pos_x ; *是最高的價值積分投影曲線在Y方向的相對位置,是pos_y . 我們用Tx ( Tx = 0.3 * max_x )門檻搜索積分投影曲線由兩端向中間 確定的邊緣學(xué)生的地區(qū),而預(yù)測值大于Tx , 相應(yīng)的地位,被視為邊緣地區(qū)的學(xué)生. 同樣的手術(shù)是在積分投影曲線在Y方向門檻Ty。圖4-3積分投影曲線在X和Y方向后Gabor變換的Rl ，Rr（Ty=0.3*Max_Y）Rsl和Rsr是被重新分割的矩形，如圖4-4所示，大的矩形是第一次分割的結(jié)果，而小的矩形是重新分割后的結(jié)果。圖4-4 瞳孔區(qū)域的定位（小的矩形方框）4.4精確定位瞳孔中心使用瞳孔周圍的灰度來定位眼睛是最簡單的方法。但是，在周圍照明不夠或者被檢測者的皮膚顏色比較深的話，這種方法的效果就比較差了。我們考慮到瞳孔的一個特性，即輻射對稱，因此，可以使用這種輻射對稱的方法來定位瞳孔的中心。輻射對稱算法是一種利用快速輻射對稱變換標(biāo)準(zhǔn)地定位雙眼瞳孔的新方法。首先估計眉毛的大體位置，根據(jù)眉毛定位的結(jié)果，在可能存在雙眼的一定區(qū)域，利用快速輻射對稱變換找到黑色的特征點，用眼珠模板對檢測到的特征點進行糾偏后，根據(jù)幾何特征確定雙眼的候選對，再次利用眼珠模板精確定位瞳孔的位置。對ORL和SJTU-IPPR數(shù)據(jù)庫的實驗表明，該算法可以實時的定位雙眼，實驗證明準(zhǔn)確率達到90以上。第五章 人臉特征提取與識別5.1概述人臉識別本質(zhì)上是三維塑性物體二維投影圖像的匹配問題,它的困難體現(xiàn)在:(1)人臉?biāo)苄宰冃?如表情等)的不確定性;(2)人臉模式的多樣性(如胡須!發(fā)型!眼鏡!化妝等);(3)圖像獲取過程中的不確定性(如光照的強度!光源方向等).識別人臉主要依據(jù)人臉上的特征,也就是說依據(jù)那些在不同個體之間存在較大差異而對于同一個人則比較穩(wěn)定的度量.由于人臉變化復(fù)雜,因此特征表述和特征提取十分困難。在對人臉圖像進行特征提取和分類之前一般需要做幾何歸一化和灰度歸一化.幾何歸一化是指根據(jù)人臉定位結(jié)果將圖像中人臉變換到同一位置和同樣大小,灰度歸一化是指對圖像進行光照補償?shù)忍幚?光照補償能夠一定程度地克服光照變化的影響而提高識別率。人臉特征提取與識別的方法有很多種，包括：1.基于幾何特征的方法；2.基于特征臉的方法；3.局部特征方法；4.基于彈性模型的方法；5.神經(jīng)網(wǎng)絡(luò)方法；6.其它方法。我們主要使用基于特征臉的方法來進行人臉的特征提取及識別。5.2基于特征臉的方法簡介基于特征臉的方法是根據(jù)一組人臉訓(xùn)練圖像構(gòu)造主元子空間,由于主元具有臉的形狀,也稱為特征臉。識別時將測試圖像投影到主元子空間上,得到一組投影系數(shù),和各個已知人的人臉圖像比較進行識別。這種方法的效果是很好的，在經(jīng)過反復(fù)實驗的得到的誤差大約在1/150左右。但系統(tǒng)在進行特征臉方法之前需要作大量預(yù)處理工作如歸一化等，這需要一定的準(zhǔn)備時間。5.3基于特征臉方法的發(fā)展情況在傳統(tǒng)特征臉的基礎(chǔ)上,研究者注意到特征值大的特征向量(即特征臉)并不一定是分類性能好的方向,據(jù)此發(fā)展了多種特征(子空間)選擇方法: 雙子空間方法,線性歧義分析方法,FisherFace方法等。事實上,特征臉方法是一種顯式主元分析人臉建模,一些線性自聯(lián)想!線性壓縮型BP網(wǎng)則為隱式的主元分析方法,它們都是把人臉表示為一些向量的加權(quán)和,這些向量是訓(xùn)練集叉積陣的主特征向量。5.4基于特征臉方法的優(yōu)劣綜上所述，特征臉方法是一種簡單，快速，實用的基于變換系數(shù)特征的算法,但由于它在本質(zhì)上依賴于訓(xùn)練集。和測試集圖像的灰度相關(guān)性,而且要求測試圖像與訓(xùn)練集比較像,所以它有著很大的局限性。因此在我們的系統(tǒng)