人臉朝向識(shí)別

人臉朝向識(shí)別人臉朝向識(shí)別一、

問題描述人臉朝向識(shí)別在對(duì)人臉的應(yīng)用研究中起著很關(guān)鍵的作用。現(xiàn)給出了一組人臉在朝向不同角度時(shí)的圖像數(shù)據(jù)，這組圖像來自不同的10個(gè)人（詳見附錄一），每人有朝向五個(gè)不同方向的圖像各一張，其朝向分別是：左方、左前方、前方、右前方和右方，如圖1所給出范例。試建立人臉朝向識(shí)別模型，對(duì)人臉的朝向進(jìn)行識(shí)別。一、問題描述人臉朝向識(shí)別在對(duì)人臉的應(yīng)用研究中起著1顏色特征提取2紋理特征提取3形狀特征提取4空間關(guān)系特征提取二、

圖像特征提取方法1顏色特征提取二、圖像特征提取方法特點(diǎn)優(yōu)點(diǎn)：基于像素點(diǎn)，所有像素都有貢獻(xiàn)。不受圖像旋轉(zhuǎn)和平移變化的影響，借助歸一化可不受圖像尺度變化的影響。缺點(diǎn)：沒有表達(dá)出顏色空間分布的信息，不能很好地捕捉圖像中對(duì)象的局部特征。1顏色特征提取特點(diǎn)1顏色特征提取常用的特征提取與匹配方法

a顏色直方圖其優(yōu)點(diǎn)在于：它能簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動(dòng)分割的圖像和不需要考慮物體空間位置的圖像。

其缺點(diǎn)在于：它無法描述圖像中顏色的局部分布及每種色彩所處的空間位置，即無法描述圖像中的某一具體的對(duì)象或物體。最常用的顏色空間：RGB顏色空間、HSV顏色空間。顏色直方圖特征匹配方法：直方圖相交法、距離法、中心距法、參考顏色表法、累加顏色直方圖法。1顏色特征提取常用的特征提取與匹配方法1顏色特征提取常用的特征提取與匹配方法

b顏色集顏色直方圖法是一種全局顏色特征提取與匹配方法，無法區(qū)分局部顏色信息。顏色集是對(duì)顏色直方圖的一種近似首先將圖像從RGB顏色空間轉(zhuǎn)化成視覺均衡的顏色空間（如HSV空間），并將顏色空間量化成若干個(gè)柄。然后，用色彩自動(dòng)分割技術(shù)將圖像分為若干區(qū)域，每個(gè)區(qū)域用量化顏色空間的某個(gè)顏色分量來索引，從而將圖像表達(dá)為一個(gè)二進(jìn)制的顏色索引集。在圖像匹配中，比較不同圖像顏色集之間的距離和色彩區(qū)域的空間關(guān)系1顏色特征提取常用的特征提取與匹配方法1顏色特征提取常用的特征提取與匹配方法

c顏色矩圖像中任何的顏色分布均可以用它的矩來表示。此外，由于顏色分布信息主要集中在低階矩中，因此，僅采用顏色的一階矩（mean）、二階矩（variance）和三階矩（skewness）就足以表達(dá)圖像的顏色分布1顏色特征提取常用的特征提取與匹配方法1顏色特征提取常用的特征提取與匹配方法

d顏色聚合向量核心思想：將屬于直方圖每一個(gè)柄的像素分成兩部分，如果該柄內(nèi)的某些像素所占據(jù)的連續(xù)區(qū)域的面積大于給定的閾值，則該區(qū)域內(nèi)的像素作為聚合像素，否則作為非聚合像素。1顏色特征提取常用的特征提取與匹配方法1顏色特征提取特點(diǎn)：

紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點(diǎn)的特征，它需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。在模式匹配中，這種區(qū)域性的特征具有較大的優(yōu)越性，不會(huì)由于局部的偏差而無法匹配成功。作為一種統(tǒng)計(jì)特征，紋理特征常具有旋轉(zhuǎn)不變性，并且對(duì)于噪聲有較強(qiáng)的抵抗能力。但是，紋理特征也有其缺點(diǎn)，一個(gè)很明顯的缺點(diǎn)是當(dāng)圖像的分辨率變化的時(shí)候，所計(jì)算出來的紋理可能會(huì)有較大偏差。另外，由于有可能受到光照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實(shí)的紋理例如，水中的倒影，光滑的金屬面互相反射造成的影響等都會(huì)導(dǎo)致紋理的變化。由于這些不是物體本身的特性，因而將紋理信息應(yīng)用于檢索時(shí)，有時(shí)這些虛假的紋理會(huì)對(duì)檢索造成“誤導(dǎo)”。在檢索具有粗細(xì)、疏密等方面較大差別的紋理圖像時(shí)，利用紋理特征是一種有效的方法。但當(dāng)紋理之間的粗細(xì)、疏密等易于分辨的信息之間相差不大的時(shí)候，通常的紋理特征很難準(zhǔn)確地反映出人的視覺感覺不同的紋理之間的差別。2紋理特征提取特點(diǎn)：2紋理特征提取常用的特征提取與匹配方法（1）統(tǒng)計(jì)方法

統(tǒng)計(jì)方法的典型代表是一種稱為灰度共生矩陣的紋理特征分析方法Gotlieb和Kreyszig等人在研究共生矩陣中各種統(tǒng)計(jì)特征基礎(chǔ)上，通過實(shí)驗(yàn)，得出灰度共生矩陣的四個(gè)關(guān)鍵特征：能量、慣量、熵和相關(guān)性。統(tǒng)計(jì)方法中另一種典型方法，則是從圖像的自相關(guān)函數(shù)（即圖像的能量譜函數(shù)）提取紋理特征，即通過對(duì)圖像的能量譜函數(shù)的計(jì)算，提取紋理的粗細(xì)度及方向性等特征參數(shù)（2）幾何法幾何法是建立在紋理基元（基本的紋理元素）理論基礎(chǔ)上的一種紋理特征分析方法。紋理基元理論認(rèn)為，復(fù)雜的紋理可以由若干簡單的紋理基元以一定的有規(guī)律的形式重復(fù)排列構(gòu)成。在幾何法中，比較有影響的算法有兩種：Voronio棋盤格特征法和結(jié)構(gòu)法。2紋理特征提取常用的特征提取與匹配方法2紋理特征提取常用的特征提取與匹配方法（3）模型法模型法以圖像的構(gòu)造模型為基礎(chǔ)，采用模型的參數(shù)作為紋理特征。典型的方法是隨機(jī)場模型法，如馬爾可夫（Markov）隨機(jī)場（MRF）模型法和Gibbs隨機(jī)場模型法（4）信號(hào)處理法紋理特征的提取與匹配主要有：灰度共生矩陣、Tamura紋理特征、自回歸紋理模型、小波變換等。2紋理特征提取常用的特征提取與匹配方法2紋理特征提取特點(diǎn)：各種基于形狀特征的檢索方法都可以比較有效地利用圖像中感興趣的目標(biāo)來進(jìn)行檢索，但它們也有一些共同的問題，包括：①目前基于形狀的檢索方法還缺乏比較完善的數(shù)學(xué)模型；②如果目標(biāo)有變形時(shí)檢索結(jié)果往往不太可靠；③許多形狀特征僅描述了目標(biāo)局部的性質(zhì)，要全面描述目標(biāo)常對(duì)計(jì)算時(shí)間和存儲(chǔ)量有較高的要求；④許多形狀特征所反映的目標(biāo)形狀信息與人的直觀感覺不完全一致，或者說，特征空間的相似性與人視覺系統(tǒng)感受到的相似性有差別。另外，從2-D圖像中表現(xiàn)的3-D物體實(shí)際上只是物體在空間某一平面的投影，從2-D圖像中反映出來的形狀常不是3-D物體真實(shí)的形狀，由于視點(diǎn)的變化，可能會(huì)產(chǎn)生各種失真。3形狀特征提取特點(diǎn)：3形狀特征提取幾種典型的形狀特征描述方法通常情況下，形狀特征有兩類表示方法，一類是輪廓特征，另一類是區(qū)域特征。圖像的輪廓特征主要針對(duì)物體的外邊界，而圖像的區(qū)域特征則關(guān)系到整個(gè)形狀區(qū)域。1）邊界特征法

該方法通過對(duì)邊界特征的描述來獲取圖像的形狀參數(shù)。其中Hough變換檢測(cè)平行直線方法和邊界方向直方圖方法是經(jīng)典方法。Hough變換是利用圖像全局特性而將邊緣像素連接起來組成區(qū)域封閉邊界的一種方法，其基本思想是點(diǎn)—線的對(duì)偶性；邊界方向直方圖法首先微分圖像求得圖像邊緣，然后，做出關(guān)于邊緣大小和方向的直方圖，通常的方法是構(gòu)造圖像灰度梯度方向矩陣。3形狀特征提取幾種典型的形狀特征描述方法3形狀特征提?。?）傅里葉形狀描述符法傅里葉形狀描述符(Fouriershapedescriptors)基本思想是用物體邊界的傅里葉變換作為形狀描述，利用區(qū)域邊界的封閉性和周期性，將二維問題轉(zhuǎn)化為一維問題。由邊界點(diǎn)導(dǎo)出三種形狀表達(dá)，分別是曲率函數(shù)、質(zhì)心距離、復(fù)坐標(biāo)函數(shù)。（3）幾何參數(shù)法形狀的表達(dá)和匹配采用更為簡單的區(qū)域特征描述方法，例如采用有關(guān)形狀定量測(cè)度（如矩、面積、周長等）的形狀參數(shù)法（shapefactor）。在QBIC系統(tǒng)中，便是利用圓度、偏心率、主軸方向和代數(shù)不變矩等幾何參數(shù)，進(jìn)行基于形狀特征的圖像檢索。需要說明的是，形狀參數(shù)的提取，必須以圖像處理及圖像分割為前提，參數(shù)的準(zhǔn)確性必然受到分割效果的影響，對(duì)分割效果很差的圖像，形狀參數(shù)甚至無法提取。（4）形狀不變矩法利用目標(biāo)所占區(qū)域的矩作為形狀描述參數(shù)。3形狀特征提?。?）傅里葉形狀描述符法3形狀特征提取（5）其它方法近年來，在形狀的表示和匹配方面的工作還包括有限元法（FiniteElementMethod或FEM）、旋轉(zhuǎn)函數(shù)（TurningFunction）和小波描述符（WaveletDescriptor）等方法?；谛〔ê拖鄬?duì)矩的形狀特征提取與匹配該方法先用小波變換模極大值得到多尺度邊緣圖像，然后計(jì)算每一尺度的7個(gè)不變矩，再轉(zhuǎn)化為10個(gè)相對(duì)矩，將所有尺度上的相對(duì)矩作為圖像特征向量，從而統(tǒng)一了區(qū)域和封閉、不封閉結(jié)構(gòu)。3形狀特征提?。?）其它方法3形狀特征提取（一）特點(diǎn)：所謂空間關(guān)系，是指圖像中分割出來的多個(gè)目標(biāo)之間的相互的空間位置或相對(duì)方向關(guān)系，這些關(guān)系也可分為連接/鄰接關(guān)系、交疊/重疊關(guān)系和包含/包容關(guān)系等。通?？臻g位置信息可以分為兩類：相對(duì)空間位置信息和絕對(duì)空間位置信息。前一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的相對(duì)情況，如上下左右關(guān)系等，后一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的距離大小以及方位。顯而易見，由絕對(duì)空間位置可推出相對(duì)空間位置，但表達(dá)相對(duì)空間位置信息常比較簡單?？臻g關(guān)系特征的使用可加強(qiáng)對(duì)圖像內(nèi)容的描述區(qū)分能力，但空間關(guān)系特征常對(duì)圖像或目標(biāo)的旋轉(zhuǎn)、反轉(zhuǎn)、尺度變化等比較敏感。另外，實(shí)際應(yīng)用中，僅僅利用空間信息往往是不夠的，不能有效準(zhǔn)確地表達(dá)場景信息。為了檢索，除使用空間關(guān)系特征外，還需要其它特征來配合。4空間關(guān)系特征提?。ㄒ唬┨攸c(diǎn)：所謂空間關(guān)系，是指圖像中分割出來的多個(gè)目標(biāo)之間的（二）常用的特征提取與匹配方法提取圖像空間關(guān)系特征可以有兩種方法：一種方法是首先對(duì)圖像進(jìn)行自動(dòng)分割，劃分出圖像中所包含的對(duì)象或顏色區(qū)域，然后根據(jù)這些區(qū)域提取圖像特征，并建立索引；另一種方法則簡單地將圖像均勻地劃分為若干規(guī)則子塊，然后對(duì)每個(gè)圖像子塊提取特征，并建立索引。4空間關(guān)系特征提取（二）常用的特征提取與匹配方法4空間關(guān)系特征提取a圖像邊緣提取b圖片分割c特征值提取5人臉朝向特征提取a圖像邊緣提取5人臉朝向特征提取a圖像邊緣提取通常選擇一階和二階導(dǎo)數(shù)來檢測(cè)邊界，利用求導(dǎo)方法可以很方便地檢測(cè)到灰度值的不連續(xù)效果。常用的邊緣提取算子有：Roberts算子、Sobel算子和Prewitt算子、LOG算子、Candy算子,zerocross算子等。Sobel算子對(duì)灰度漸變的圖像處理效果較好，不僅能檢測(cè)邊緣點(diǎn)，而且能進(jìn)一步抑制噪聲影響，所以將采用Sobel算子提取圖像邊緣。(參考《MATLAB數(shù)字圖像處理》張德豐機(jī)械工業(yè)出版社P216-223)BW=edge(I,’method’)

5人臉朝向特征提取a圖像邊緣提取5人臉朝向特征提取5人臉朝向特征提取5人臉朝向特征提取b圖片分割原圖片大小為420*420不方便圖片特征的提取，所以將圖片分割為6行8列，由于圖片中眼睛位置變化最大，邊緣效果最明顯，所以對(duì)它提取特征值，眼睛大致位于分割圖片的第二行

5人臉朝向特征提取b圖片分割5人臉朝向特征提取b特征值提取建立一個(gè)N×8的特征值矩陣P

5人臉朝向特征提取Pij相當(dāng)于第i行，第j列分割圖片的所有邊緣灰度值之和。然后將矩陣標(biāo)準(zhǔn)化，得到所需要的特征值向量

b特征值提取5人臉朝向特征提取Pij相當(dāng)于第i行1BP神經(jīng)網(wǎng)絡(luò)模型2

LVQ神經(jīng)網(wǎng)絡(luò)模型三、

建立判別模型1BP神經(jīng)網(wǎng)絡(luò)模型三、建立判別模型a.輸入層

對(duì)神經(jīng)網(wǎng)絡(luò)輸入的確定，其關(guān)鍵在于對(duì)數(shù)據(jù)特征值的提取。選擇6張人臉計(jì)30張圖片作為輸入BP網(wǎng)絡(luò)的訓(xùn)練樣本，故可將圖像的像素作為輸入單元。將每張圖像轉(zhuǎn)換成八個(gè)排列的像素值，進(jìn)行歸一化處理，網(wǎng)絡(luò)的輸入就變成了一個(gè)八維的向量。1BP神經(jīng)網(wǎng)絡(luò)模型a.輸入層1BP神經(jīng)網(wǎng)絡(luò)模型b．輸出層對(duì)人臉朝向的識(shí)別定義了五種朝向，分別為：左方、左前方、前方、右前方和右方。現(xiàn)采取以下定義：1BP神經(jīng)網(wǎng)絡(luò)模型輸出表示方向100左110左前010前011右前001右表1人臉朝向的表示c．中間層結(jié)合試驗(yàn)和經(jīng)驗(yàn)公式?jīng)Q定神經(jīng)元的個(gè)數(shù)b．輸出層1BP神經(jīng)網(wǎng)絡(luò)模型輸出表示方向100BP神經(jīng)網(wǎng)絡(luò)程序代碼如下：clearclcimages=[];N_train=3;M_train=5;sample=[];pixel_value=[];sample_number=0;forj=1:N_train

fori=1:M_train

str=strcat('G:\數(shù)模\校內(nèi)賽\2011年暑期第二次模擬競賽題\2011年暑期第二次模擬競賽題\Images\',num2str(j),'_',num2str(i),'.bmp');img=imread(str);%figure,imshow(img)

[rowscols]=size(img);img_edge=edge(img,'Sobel');sub_rows=floor(rows/6);sub_cols=floor(cols/8);sample_number=sample_number+1;sample_num=N_train*M_train;forsubblock_i=1:8block_num=subblock_i;pixel_value(sample_number,block_num)=0;forii=sub_rows:2*sub_rowsfor

jj=(subblock_i-1)*sub_cols+1:subblock_i*sub_cols1BP神經(jīng)網(wǎng)絡(luò)模型BP神經(jīng)網(wǎng)絡(luò)程序代碼如下：1BP神經(jīng)網(wǎng)絡(luò)模型pixel_value(sample_number,subblock_i)=...

pixel_value(sample_number,subblock_i)+img_edge(ii,jj);end

endendendendmax_pixel_value=max(pixel_value);max_pixel_value_1=max(max_pixel_value);fori=1:3mid_value=10^i;if(((max_pixel_value_1/mid_value)>1)&&((max_pixel_value_1/mid_value)<10))multiple_num=1/mid_value;pixel_value=pixel_value*multiple_num;break;endendP=pixel_value'

T=[110001100011000011100111001110000110001100011];net=newff(minmax(P),[173],{'logsig','purelin'},'traingdx');inputWeights=net.IW{1,1}inputbias=net.b{1}layerWeights=net.LW{2,1}layerbias=net.b{2}net.trainParam.show=50;net.trainParam.lr=0.44;net.trainParam.mc=0.9;net.trainParam.epochs=10000;net.trainParam.goal=0.00001;net=train(net,P,T);

Y=sim(net,P)1BP神經(jīng)網(wǎng)絡(luò)模型pixel_value(sample_number,subb1BP神經(jīng)網(wǎng)絡(luò)模型1BP神經(jīng)網(wǎng)絡(luò)模型LVQ神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層三層組成，輸入層與隱含層間為完全連接，每個(gè)輸出層神經(jīng)元與隱含層神經(jīng)元的不同組相連接。隱含層和輸出層神經(jīng)元之間的連接權(quán)值固定為１。在網(wǎng)絡(luò)訓(xùn)練過程中，輸入層和隱含層神經(jīng)元間的權(quán)值被修改。當(dāng)某個(gè)輸入模式被送至網(wǎng)絡(luò)時(shí)，最接近輸入模式的隱含神經(jīng)元因獲得激發(fā)而贏得競爭，因而允許它產(chǎn)生一個(gè)“1”，而其他隱含層神經(jīng)元都被迫產(chǎn)生“0”。與包含獲勝神經(jīng)元的隱含層神經(jīng)元組相連接的輸出神經(jīng)元也發(fā)出“1”，而其他輸出神經(jīng)元均發(fā)出“0”。參考：《Matlab神經(jīng)網(wǎng)絡(luò)30個(gè)案例分析》matlab中文論壇編著。2、

LVQ神經(jīng)網(wǎng)絡(luò)模型LVQ神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層三層組成，輸a