人臉識(shí)別改進(jìn)

1、湖南省大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實(shí)驗(yàn)計(jì)劃項(xiàng) 目 申 報(bào) 表項(xiàng)目名稱：基于單目視覺技術(shù)車輛智能碰撞規(guī)避的研究學(xué)校名稱湖南工業(yè)大學(xué)學(xué)生姓名學(xué)號(hào)專業(yè)性別入學(xué)年份2012.092012.092012.092012.092013.09指導(dǎo)教師宓茜職稱學(xué)科專業(yè)學(xué)生曾經(jīng)參與科研的情況本項(xiàng)目組成員參加過(guò)全國(guó)大學(xué)生電子設(shè)計(jì)大賽， 以及在學(xué)校和同學(xué)T做過(guò) 多種實(shí)訓(xùn)1:比如啟基于單片機(jī)的萬(wàn)年歷系統(tǒng)，智能刷卡系統(tǒng)、溫度檢測(cè)系統(tǒng)； 基于數(shù)電的簡(jiǎn)單的報(bào)警系統(tǒng)、以及基于模電的簡(jiǎn)易收音機(jī)等等。指導(dǎo)教師承擔(dān)科研課題情況項(xiàng)目：1 融合不確定性與隨機(jī)統(tǒng)計(jì)信息的回轉(zhuǎn)干燥過(guò)程建模新方法研究國(guó)家自科基金項(xiàng)目2 基于支持向量機(jī)的回轉(zhuǎn)干燥過(guò)程

2、混合建模與能耗 /排放優(yōu)化新方法研究 教育廳青年項(xiàng)目（型并聯(lián)控制技術(shù)的研究教育廳項(xiàng)目（編號(hào)：10C0604）項(xiàng)目研究和實(shí)驗(yàn)的目的、內(nèi)容和要解決的主要問(wèn)題一、項(xiàng)目研究的目的隨著科技的飛速發(fā)展，傳統(tǒng)的身份識(shí)別(如口令、身份卡等)容易遺失， 易被破解等問(wèn)題逐漸暴漏，已不能滿足各種安全需要。人們期望有一種更加 可靠的技術(shù)來(lái)進(jìn)行身份鑒別。生物特征識(shí)別技術(shù)給這一切帶來(lái)了可能。由于人臉的面部特征難以復(fù)制和假冒，從而被應(yīng)用到最現(xiàn)代化的門禁系 統(tǒng)，網(wǎng)上支付系統(tǒng)等等領(lǐng)域中。人臉識(shí)別技術(shù)是利用計(jì)算機(jī)分析人臉，從中 提取出有效的特征和識(shí)別信息，通過(guò)與數(shù)據(jù)庫(kù)的人臉比較來(lái)管理和控制的技 術(shù)，與以往的身份識(shí)別系統(tǒng)相比提高了

3、安全防范的可靠性。2015年3月15日晚間，全球矚目的漢諾威消費(fèi)電子、信息及通信博覽會(huì) (CeBIT)在德國(guó)開幕。馬云在開幕式上，向德國(guó)總理默克爾與中國(guó)副總理馬凱 演示了螞蟻金服的Smile to Pay掃臉技術(shù)、項(xiàng)目研究的內(nèi)容人臉比對(duì)是指對(duì)于給定的一幅任意圖像，首先進(jìn)行人臉檢測(cè)，對(duì)其中的人臉部分進(jìn)行特征提取，根據(jù)這些提取的特征參數(shù)，與另外一幅任意給定的圖像中的所含人臉部分的特征 參數(shù)進(jìn)行比對(duì)，判斷兩者是否為同一個(gè)人。典型的人臉自動(dòng)比對(duì)系統(tǒng)如圖1.5所示，它以含人臉的靜態(tài)圖像或者視頻作為輸入，以比對(duì)之后的結(jié)果作為輸由，其中包括了人臉圖像獲取、人臉檢測(cè)、人臉特征提取和人臉識(shí)別四個(gè) 主要的環(huán)節(jié)。人

4、 臉.圖像 獲人臉檢測(cè)特征提取人臉識(shí)別圖1.5人臉識(shí)別系統(tǒng)一般框架人臉圖像的獲取一般來(lái)說(shuō)，圖像的獲取都是通過(guò)攝像頭攝取，但攝取的圖像可以是真人，也 可以是人臉的圖片或者為了相對(duì)簡(jiǎn)單， 可以不考慮通過(guò)攝像頭來(lái)攝取頭像， 而是 直接給定要識(shí)別的圖像。(2)人臉檢測(cè)人臉檢測(cè)(FaceDeteetion)就是給定靜態(tài)圖像或者視頻，判斷其中是否有人臉存在，如果存在，則給出人臉的大小、位置等狀態(tài)信息。由于受異常人臉的干擾，在人頭定位的基礎(chǔ)上實(shí)現(xiàn)了人臉檢測(cè)，異常人臉的排 除成了這一部分的關(guān)鍵內(nèi)容。(3)人臉特征提取人臉特征提取即提取人臉面部中所具有的特征，它的本質(zhì)就是將一般的圖像數(shù)據(jù)映射到機(jī)器空間中去，以此

5、可以利用模式識(shí)別或圖像 分析的方法進(jìn)行后續(xù)的處理和研究?；谌四樀南闰?yàn)知識(shí)，每個(gè)人臉特征都有唯一不變性和變化多樣性這兩個(gè)特點(diǎn)，只有充分利用唯一不 變性和變化多樣性這兩個(gè)特點(diǎn)才能夠進(jìn)行后面的人臉比對(duì)識(shí)別操作。(4)人臉識(shí)別人臉識(shí)別指的是對(duì)輸入的兩個(gè)人臉圖像，利用兩個(gè)人臉圖像的特征參數(shù)，采取某種算法進(jìn)行人臉之間的比對(duì)，最終返回人臉比對(duì)的結(jié)果。目前，依據(jù)人臉比對(duì)技術(shù)所采用的特征，可將人臉比對(duì)技術(shù)主要分為兩 類：(1)基于人臉圖像的幾何特征比對(duì)，(2)基于人臉圖像的統(tǒng)計(jì)特征比 對(duì)。前者主要考慮人臉五官所在的相對(duì)位置具有不變性和唯一性；后者主要考慮了每個(gè)人臉圖像的象素?cái)?shù)據(jù)具有的穩(wěn)定性和唯一性。三、解決的

6、主要問(wèn)題(1)圖像的采集。采集過(guò)程中需要保持人信息的完整性，包括拍攝圖像時(shí) 要保持拍攝環(huán)境的一致性，如光照，拍攝角度等要保持一致；需要保持人臉圖像 的姿態(tài)，即拍攝正面的人臉圖像；并保持拍攝時(shí)人臉的表情和配飾的一致性，如戴或不戴眼睛，是否化妝等等。(2)人臉識(shí)別方法的選擇問(wèn)題。在進(jìn)行識(shí)別方法的選擇時(shí)，既要考慮到識(shí)別算法的實(shí)用性和有效性，又要 考慮識(shí)別方法的識(shí)別效率和準(zhǔn)確率的問(wèn)題。綜合考慮現(xiàn)有的人臉識(shí)別方法，從中 選擇適合于本系統(tǒng)需求的人臉識(shí)別方法。(3)需要識(shí)別的人臉圖像發(fā)生變化，如需要識(shí)別的人員增加、減少、人員 的相關(guān)信息發(fā)生變更等問(wèn)題。國(guó)內(nèi)外研究現(xiàn)狀和發(fā)展動(dòng)態(tài)到現(xiàn)在為止，人臉識(shí)前期以 All

7、en和Parke為代表，主要研究人臉識(shí)別所需 要的面部特征，研究者用計(jì)算機(jī)實(shí)現(xiàn)了較高質(zhì)量的人臉灰度圖模型。這一階段工作的特點(diǎn)是識(shí)別過(guò)程 全部依賴于操作人員，顯然這不是一種可以完成自動(dòng)識(shí)別 的系統(tǒng)。中期是人機(jī)交互式識(shí)別階段，代表性工作有 ：Harmon和Lesk用幾何特 征參數(shù)來(lái)表示人臉正面圖像。他們采用多維特征矢量表示人臉面部特征， 并設(shè)計(jì) 了基于這一特征表示法的識(shí)別系統(tǒng)。Kayak Kobayashi則采用了統(tǒng)計(jì)識(shí)別方法， 用歐氏距離來(lái)表征人臉特征。但這類方法需要利用操作員的某些先驗(yàn)知識(shí)，仍然擺脫不了人的干預(yù)。后期是真正的機(jī)器自動(dòng)識(shí)別階段。隨著高速度、高性能計(jì)算 機(jī)的發(fā)展，人臉模式識(shí)別方法有

8、了較大的突破，提出了多種機(jī)器全自動(dòng)識(shí)別系 統(tǒng)，人臉識(shí)別技術(shù)進(jìn)入了實(shí)用化階段。人臉識(shí)別技術(shù)在世界范圍內(nèi)得到廣泛的關(guān)注，更多的研究開始集中在基于視 頻的人臉識(shí)別上面。視頻下的人臉識(shí)別系統(tǒng)主要是針對(duì)視頻圖像序列進(jìn)行分析處 理，它通常涉及到人臉檢測(cè)、人臉跟蹤、特征提取、人臉識(shí)別幾個(gè)過(guò)程。其近 些年來(lái)，隨著計(jì)算機(jī)計(jì)算能力的加強(qiáng)，基于視頻流下的人臉識(shí)別發(fā)展迅速， 各種 面向復(fù)雜應(yīng)用背景的視頻 人臉識(shí)別系統(tǒng)也隨之涌現(xiàn)。由于基于視頻流下的人臉 識(shí)別系統(tǒng)具有如此大的應(yīng)用前景，它引起了許多國(guó)家的高度關(guān)注。國(guó)內(nèi)外眾多的 大學(xué)和研究機(jī)構(gòu)，如美國(guó)的 CMU MIT UIUC大學(xué)、英國(guó)的劍橋大學(xué)、日本的 Toshiba公

9、司和國(guó)內(nèi)的清華 大學(xué)、中科院自動(dòng)化所等單位都對(duì)基于視頻的人臉識(shí) 別進(jìn)行了廣泛而深入的研究，盡管基于視頻的人臉識(shí)別技術(shù)取得了很大成果，但在實(shí)際應(yīng)用中還存在很大 的局限性，面臨著許多困難與瓶頸，這些問(wèn)題也決定 了基于視頻人臉識(shí)別技術(shù)的發(fā)展趨勢(shì)及今后的研究方向，本項(xiàng)目學(xué)生有關(guān)的研究積累和已取得的成績(jī)一、研究積累目前，項(xiàng)目進(jìn)行了前期調(diào)研，完成了部分?jǐn)?shù)據(jù)采集，取得了一定進(jìn)展，為項(xiàng) 目整體推進(jìn)打下良好基礎(chǔ)，項(xiàng)目學(xué)生的有關(guān)研究積累和取得成績(jī)?nèi)缦拢? .通過(guò)人臉識(shí)別系統(tǒng)項(xiàng)目設(shè)計(jì)研究在軟件方面對(duì)算法有了比較深入的了解，在圖像處理方面也有了新的突破，在圖文信息采集方面也有一定的了解。2 .我們也基本了解自動(dòng)檢測(cè)技

10、術(shù)。3 .已進(jìn)行市場(chǎng)和技術(shù)調(diào)研，并根據(jù)用戶需求，對(duì)此人臉識(shí)別進(jìn)行初步設(shè)計(jì)二、已取得的成績(jī)我們對(duì)人臉識(shí)別系統(tǒng)項(xiàng)目研究到至今，我們已經(jīng)完成了初步的軟件和硬件進(jìn)行了規(guī)劃。項(xiàng)目的技術(shù)路線、進(jìn)度安排及預(yù)期成果一、技術(shù)路線人臉檢測(cè)的技術(shù)主要是用到基于Adaboost算法的檢測(cè)方法。daboost算法的步驟如下：1 .指定訓(xùn)練樣本庫(kù) S,正負(fù)樣本的總數(shù)分別為X和Y;T是訓(xùn)練的總共循環(huán)次數(shù)；2 .初始化每個(gè)樣本的權(quán)值為1/n;3 .開始迭代：(1)在所有訓(xùn)練樣本的不同概率分布情況下，訓(xùn)練得到每輪的弱分類器；(2)計(jì)算基于這個(gè)弱分類器分類的錯(cuò)誤率；(3)選擇適當(dāng)?shù)拈}值，使得錯(cuò)誤率最?。?4)更新所有樣本的權(quán)重分

11、布：(5)判斷是否達(dá)到總共的最大循環(huán)次數(shù)，達(dá)到則退由該循環(huán)否則繼續(xù)迭代；4 .最后得到一個(gè)強(qiáng)分類器daboost算法流程圖基于Adaboost算法的人眼和嘴巴的檢測(cè)嘴巴的訓(xùn)練和檢測(cè)過(guò)程是和人眼訓(xùn)練和檢測(cè)過(guò)程是一樣的，只是訓(xùn)練的時(shí)候正樣本有所區(qū)別，1樣本庫(kù)的構(gòu)造在訓(xùn)練分類器之前，需要輸入的數(shù)據(jù)主要有人眼樣本（即正樣本）、非人眼樣本（即負(fù)樣本卜矩形特征。（l）正樣本庫(kù)的構(gòu)造人眼樣本的選取，對(duì)最終訓(xùn)練得到的人眼檢測(cè)系統(tǒng)有著很大的影響。人眼樣本的選擇如果過(guò)于單一，比如沒有考慮光照,姿態(tài)等的變化，那么最后訓(xùn)練得到的分類器的漏檢率就會(huì)比較高，人眼檢測(cè)系統(tǒng)就很不完善 的正樣本數(shù)據(jù)。，所以樣本庫(kù)必須要有豐富截

12、取的部分人眼圖像(2)負(fù)樣本庫(kù)的構(gòu)造由于背景的復(fù)雜性，因此在收集非人眼樣本時(shí)，圖像背景不能單一，紋理要比較豐富，圖像要更貼近 實(shí)際生活。用了 MIT的非人臉庫(kù)，共有4381幅非人眼圖像，里面的圖像有著很大差異，是專門針對(duì)分類器訓(xùn)練制作的負(fù) 樣本庫(kù)，對(duì)分類器的訓(xùn)練有很大幫助，能提高分類器的分類性臺(tái)匕 目匕。MIT的非人臉庫(kù)的部分圖像選取的人眼樣本全部是睜開人眼的樣本，含有戴無(wú)色眼鏡，當(dāng)人眼閉著的時(shí)候，就檢測(cè)不到人眼，可以視為異常人臉2人眼分類器的訓(xùn)練由于在矩形窗口中矩形特征的數(shù)目非常多，選取所有的矩形特征參與分類計(jì)算，計(jì)算量非常可觀。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，利用這些特征中的一小部分就能組成一個(gè)有效的分類器

13、，可以采用弱學(xué)習(xí)算法來(lái)逐次選擇對(duì)分類最有利的矩形特征。對(duì)于每一 個(gè)特征來(lái)說(shuō)，弱學(xué)習(xí)算法確定一個(gè)錯(cuò)分樣本最少的最優(yōu)閉值 分類函數(shù)。一個(gè)弱分類器h,(x)包含一個(gè)特征f,(x)，一個(gè)閩值氏 和用來(lái)表示不等式方向的Pj, Pj取正負(fù)1。如下圖：oc工 otherwiseAdaboost算法通過(guò)迭代的方式對(duì)一組帶有權(quán)值的向量進(jìn)行訓(xùn)練，初始時(shí)所有的向量數(shù)據(jù)都被分配成相等的權(quán)值。每一輪迭代，就訓(xùn)練得到一個(gè)相 應(yīng)的弱分類器，進(jìn)入下一輪迭代前，對(duì)于被錯(cuò)誤分類的向量數(shù) 據(jù)就增加其權(quán)值，而對(duì)于被正確分類的向量數(shù)據(jù)就減小其權(quán)值。最終得到的強(qiáng)分類器是T(T是迭代的總共次數(shù)個(gè)弱分類器的加權(quán)集成，其中每個(gè)不同弱分類器的權(quán)

14、值與訓(xùn) 練的誤差成反比。在本章中，Adaboost還具有特征選擇的功能 每一輪的訓(xùn)練過(guò)程中僅用一個(gè)特征進(jìn)行訓(xùn)練并最后選擇最 有利于分類的特征作為弱分類器。Adaboost算法的訓(xùn)練過(guò)程如下：給定一系列的訓(xùn)練樣本：(X1,Yl),(X2,Y2),(Xn,Yn), Xi為圖像樣本,Yi為樣本的類別標(biāo)志，Yi =o表示圖像為非人眼圖 像,Yi=1表示圖像為人眼圖像；其中，i=1,2,n,為總共的樣本1 1Wi =,-，數(shù)。將兩類不同的樣本的分別賦予權(quán)值： 2mMm和1分別為樣本總數(shù)和非人眼樣本總數(shù)。假設(shè)要訓(xùn)練T個(gè)弱分類器，這里T也是選定的特征數(shù)目。假設(shè)t=1,T,執(zhí)行循環(huán)如下：(1)歸一化權(quán)值：3p

15、 =r i z 柏=1 ； (2)使得為概率分布，即7(3)對(duì)于每一個(gè)矩形特征，訓(xùn)練得到一個(gè)僅利用該矩形 特征的弱分類器而。計(jì)算 hj的加權(quán)誤差：幻=£：1而3)一阿1(4)從所有的矩形特征所對(duì)應(yīng)的弱分類器中選擇一個(gè)加 權(quán)訓(xùn)練誤差為最小的弱分類器。這個(gè)分類器表示為 h,訓(xùn)練誤差為：句=£：p；I-)-mo|(4)按照得到的最佳弱分類器，調(diào)整樣本權(quán)重：當(dāng)樣本被正確的分類時(shí)。ei=0,當(dāng)樣本被錯(cuò)誤的分類時(shí),°F,因?yàn)楣士偸潜?.5小，所以四1 ,每輪訓(xùn)練之后，正確分類的樣本權(quán)值減小，錯(cuò)誤分類的樣本權(quán)值增大。最后訓(xùn)練得到的強(qiáng)分類器由總共T個(gè)特征的弱分類器組成:I1 I1

16、,£(ln元地上不t-iPt/ t=iPt k0, otherwise在每一輪訓(xùn)練的過(guò)程中，該算法從所有的矩形特征中總是選 擇分類誤差最小的矩形特征。簡(jiǎn)單的訓(xùn)練流程圖如圖級(jí)聯(lián)分類器人眼分類器的級(jí)聯(lián)隨著弱分類器九(x)數(shù)目的不斷增加，最終的強(qiáng)分類器H(x)也會(huì)變得越來(lái)越復(fù)雜。一些結(jié)構(gòu)簡(jiǎn)單的強(qiáng)分類器仍然具有較 高的效率，它們可以用來(lái)排除大多數(shù)的非人眼圖像區(qū)域而同 時(shí)檢測(cè)出幾乎所有可能存在的人眼區(qū)域。為了提高分類器整體的檢測(cè)性能同時(shí)又減少檢測(cè)時(shí)間，可將多個(gè)強(qiáng)分類器按照 從簡(jiǎn)單到復(fù)雜的順序聯(lián)接起來(lái)從而就構(gòu)成了分類器的級(jí)聯(lián)使整個(gè)的人眼檢測(cè)過(guò)程形成一個(gè)簡(jiǎn)單決策樹，如圖3.13所示。分類器級(jí)聯(lián)前端

17、的結(jié)構(gòu)簡(jiǎn)單的分類器通過(guò)簡(jiǎn)單的計(jì)算來(lái)排除大多數(shù)的非人眼窗口，而后面的結(jié)構(gòu)較復(fù)雜分類器通過(guò)更多的處理來(lái)進(jìn)一步排除剩余的非人眼窗口，降低檢測(cè)的錯(cuò)誤率。對(duì)于級(jí)聯(lián)系統(tǒng)的每一級(jí)來(lái)說(shuō)，如果該分類器的 輸由為T,則認(rèn)為該檢測(cè)窗口可能含有人眼區(qū)域，將該檢測(cè)窗口輸入到下一級(jí)的分類器進(jìn)行進(jìn)一步的判定；否則，在該級(jí)分類器將檢測(cè)窗口判斷為非人眼區(qū)域進(jìn)行排除。通過(guò) 該級(jí)聯(lián)系統(tǒng)，最終可以得到一個(gè)比較穩(wěn)定輸生的人眼區(qū)域。嘴巴檢測(cè)的實(shí)現(xiàn)利用Adaboost的方法同樣可以實(shí)現(xiàn)嘴巴的檢測(cè)和定位。在構(gòu)造樣本庫(kù)的時(shí)候只需要把正樣本庫(kù)的圖片換為嘴巴的圖片,負(fù)樣本庫(kù)不變，利用Adaboost算法進(jìn)行分類器的訓(xùn)練，得 到最后的級(jí)聯(lián)強(qiáng)分類器，

18、利用強(qiáng)分類器在人臉區(qū)域進(jìn)行嘴巴 的搜索，找由并標(biāo)示由人的嘴巴的位置。通過(guò)截取ORL人臉庫(kù)和MIT人臉庫(kù)中2500幅人的不同表情，不同光照情況下人 的嘴巴的圖片作為訓(xùn)練所用的正樣本。圖3.14截取的部分嘴巴圖像人眼檢測(cè)和嘴巴檢測(cè)的結(jié)果:人眼和嘴巴檢測(cè)的事例以上的四幅圖片就是用 Adaboost算法最后訓(xùn)練由來(lái)的 分類器檢測(cè)得到的結(jié)果，其中第一幅、第二幅和第四幅是臉部 沒有任何遮擋物的人眼檢測(cè)和嘴巴檢測(cè) ，第三幅是戴無(wú)色眼 鏡的人眼和嘴巴的檢測(cè)結(jié)果。部分檢測(cè)和錯(cuò)檢的人臉圖像上圖是用 Adaboost算法訓(xùn)練的分類器檢測(cè)人眼和嘴巴由現(xiàn)漏檢和錯(cuò)檢的情況，之所以會(huì)存在漏檢和錯(cuò)檢的情況，是因?yàn)?人臉圖片情

19、況比較多變，表情的變化，姿勢(shì)的變化都會(huì)對(duì)人眼 檢測(cè)和嘴巴檢測(cè)產(chǎn)生影響。選取了 200幅圖像進(jìn)行了人眼和嘴巴的檢測(cè)和定位這些圖像多數(shù)是正面人臉圖像，因?yàn)檗D(zhuǎn)角比較大的側(cè)面人臉圖像有時(shí)候就拍不到人臉面部的部分特征，所有該方法對(duì)其就沒有檢測(cè)的意義。部分存在人眼的漏檢和錯(cuò)檢 ，部分存在嘴 巴的漏檢和錯(cuò)檢，最終實(shí)驗(yàn)結(jié)果如下表。表3.1人眼和嘴巴定位算法的準(zhǔn)確率圖像總數(shù)正確定位數(shù)錯(cuò)誤定位數(shù)未定位數(shù)檢測(cè)率20018210891%圖3.17異常人臉檢測(cè)情況上圖是部分異常人臉的檢測(cè)情況，可以看由只能檢測(cè)由人眼或者嘴巴，不能完成人眼和嘴巴的同時(shí)檢測(cè)。從而就可以排除異常人臉，啟用報(bào)警裝置并提示操作人員摘下遮擋物。 如果操作人員摘下遮擋物，則進(jìn)行第二次的人眼和嘴巴檢測(cè)。 否則提示ATM環(huán)境存在非法人員入侵。最后證明該方法能在絕大多數(shù)的情況下檢測(cè)到正常人 臉的人眼和嘴巴特征，而對(duì)于異常人臉只能檢測(cè)到部分的人臉特征（檢測(cè)不到嘴巴或者人眼，或者同時(shí)檢測(cè)不到嘴巴和人 眼）。通過(guò)基于人臉面部特征的檢測(cè)來(lái)排除掉異常人臉的方法 是可行的，通過(guò)這一步的處理，留下正常人臉能進(jìn)行后面的人 特征點(diǎn)提取和人臉對(duì)比工作。進(jìn)度安排：2015年4月-8月