圖像模式識(shí)別

圖像模式識(shí)別第1頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月什么是模式識(shí)別模式識(shí)別（patternrecongnition）就是機(jī)器識(shí)別，計(jì)算機(jī)識(shí)別或機(jī)器自動(dòng)識(shí)別，目的在于讓機(jī)器自動(dòng)識(shí)別事物。該學(xué)科研究的內(nèi)容是使機(jī)器能做以前只能由人類才能做的事，具備人所具有的對(duì)各種事物與現(xiàn)象進(jìn)行分析、描述與判斷的部分能力。第2頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月模式識(shí)別的目的就是利用計(jì)算機(jī)實(shí)現(xiàn)人的類識(shí)別能力，是對(duì)兩個(gè)不同層次的識(shí)別能力的模擬。對(duì)信息的理解往往含有推理過(guò)程，需要專家系統(tǒng)，知識(shí)工程等相關(guān)學(xué)科的支持。我們所講的模式識(shí)別理論主要是指對(duì)人的低級(jí)類識(shí)別能力的模擬，具體的說(shuō)，就是實(shí)現(xiàn)觀察對(duì)象是什么的判斷，其中觀察對(duì)象就是模式。模式是指具有某種特定性質(zhì)的觀察對(duì)象。特定性質(zhì)指的是可以用來(lái)區(qū)別觀察對(duì)象是否相同或是否相似而選擇的特性。模式識(shí)別是一種智能活動(dòng)，包含分析和判斷兩個(gè)過(guò)程。分析的過(guò)程在于確定用于劃分模式類的特征及其表達(dá)方法，判斷的過(guò)程則體現(xiàn)在依據(jù)識(shí)別對(duì)象的特性，將其判入某一個(gè)模式類。第3頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月數(shù)據(jù)獲取預(yù)處理特征提取分類決策訓(xùn)練樣本輸入預(yù)處理特征選擇確定判別函數(shù)改進(jìn)判別函數(shù)誤差檢驗(yàn)未知類別模式的分類分類器設(shè)計(jì)分類結(jié)果第4頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月一個(gè)圖像識(shí)別系統(tǒng)主要包括三部分：圖像信息的獲取、特征提取和分類判決。圖像信息的獲取就是把圖片、底片、文字圖形等用掃描設(shè)備變換為電信號(hào)以備后續(xù)處理；特征提取就是抽出能反映事物本質(zhì)的特征；分類判決是根據(jù)所提取的特征做出分類結(jié)論的過(guò)程。其中，特征提取和分類判決關(guān)系密切。第5頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月對(duì)應(yīng)于模式識(shí)別的理論與方法，有代表性的圖像識(shí)別方法主要有以下四類。（1）統(tǒng)計(jì)圖像識(shí)別方法（2）結(jié)構(gòu)圖像識(shí)別方法（3）模糊圖像識(shí)別方法（4）神經(jīng)網(wǎng)絡(luò)圖像識(shí)別方法第6頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月待識(shí)別圖像圖像信息獲取特征提取分類判決第7頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月圖像識(shí)別主要研究某些對(duì)象或過(guò)程（統(tǒng)稱圖像）的分類與描述，也就是預(yù)處理后的圖像，經(jīng)分割和描述，提取有效的特征，進(jìn)而加以判決分類。圖像識(shí)別的幾種典型應(yīng)用，包括人臉識(shí)別、簽名識(shí)別和車牌識(shí)別等。其中，手寫數(shù)字識(shí)別，結(jié)果就是將手寫的數(shù)字分到具體的數(shù)字類別中。智能交通管理系統(tǒng)的識(shí)別，就是判斷是否有汽車闖紅燈，闖紅燈的汽車車牌號(hào)，還有文字識(shí)別，語(yǔ)音識(shí)別，圖像中物體識(shí)別，等等。第8頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月人臉檢測(cè)是指在圖像處理或視頻中判斷人臉是否存在，如存在，再進(jìn)一步確定人臉的大小、位置等。人臉檢測(cè)是實(shí)時(shí)人臉識(shí)別和表情識(shí)別的基礎(chǔ)，只有將人臉檢測(cè)得準(zhǔn)確，人臉識(shí)別和表情識(shí)別才能得以實(shí)現(xiàn)。人臉檢測(cè)還在視頻監(jiān)控、數(shù)字視頻處理和基于內(nèi)容的人臉的自動(dòng)檢測(cè)與特征點(diǎn)定位。第9頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月基于形狀的檢測(cè)方法基于膚色的檢測(cè)方法基于統(tǒng)計(jì)理論的檢測(cè)方法：

基于統(tǒng)計(jì)理論的檢測(cè)方法是利用統(tǒng)計(jì)分析與機(jī)器學(xué)習(xí)的方法來(lái)尋找出人臉樣本與非人臉樣本各自的統(tǒng)計(jì)特征，再使用各自的特征構(gòu)建分類器來(lái)完成人臉檢測(cè)。第10頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月基于形狀的檢測(cè)方法利用人臉五官形狀的信息，用一些形狀模式在數(shù)字圖像中匹配人臉，進(jìn)而進(jìn)行人臉檢測(cè)。人臉的形狀特征是指人類面部器官在幾何上表現(xiàn)的特征。其中有以下幾種常用的方法：（1）基于先驗(yàn)知識(shí)的方法（2）基于特征不變性的方法（3）基于模板的方法第11頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月基于先驗(yàn)知識(shí)的檢測(cè)方法是將人臉面部器官之間的關(guān)系編碼準(zhǔn)則化的人臉檢測(cè)方法。該方法是一種自定而下的方法，依據(jù)人臉面部器官的對(duì)稱性、灰度差異等先驗(yàn)知識(shí)，制定出一系列的準(zhǔn)則。當(dāng)圖像中的待測(cè)區(qū)域符合準(zhǔn)則，則被檢測(cè)為人臉。自頂而下的方法能夠較好的把握全局信息，但是非常強(qiáng)調(diào)對(duì)初始位置的定位，一旦出現(xiàn)偏差，將導(dǎo)致整體跟蹤結(jié)果的移和變形。目前比較好的方法有，4*4鑲嵌圖人臉?lè)謮K方法、3*3的廣義三分圖方法、結(jié)合4*4和3*3的分塊方法。分塊的思想在于根據(jù)每塊的灰度值制定準(zhǔn)則來(lái)進(jìn)行判定。例如將系統(tǒng)分為三級(jí)，利用不同精度的平均和二次采樣產(chǎn)生三級(jí)不同分辨率的圖像。針對(duì)不同分辨率的圖像采用不同的準(zhǔn)則進(jìn)行判定，低分辨率圖像里的準(zhǔn)則主要體現(xiàn)了人臉的大體輪廓，高分辨率圖像里的準(zhǔn)則主要體現(xiàn)了人臉的細(xì)節(jié)特征。第12頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月基于特征不變形的方法著眼于檢測(cè)面部的一些不變的特征，例如眼睛、鼻子、嘴巴等。與基于先驗(yàn)知識(shí)的方法不同，該方法是自底而上的，先利用各種手段尋找上述不變特征，然后綜合找到的這些不變特征來(lái)確定待檢測(cè)區(qū)域是否是人臉。自底而上的方法與自頂而下的方法正好相反，它考慮到人臉各器官之間存在著空間約束，通過(guò)對(duì)各局部信息（臉部器官）的定位和跟蹤，并結(jié)和各器官之間的空間位置關(guān)系，完成對(duì)整體（人臉的）定位。絕大多數(shù)自底而上的方法均將眼睛作為首選的特征進(jìn)行搜索，這主要是因?yàn)檠劬哂刑厥獾耐庥^特性以及相對(duì)穩(wěn)定的對(duì)稱性，可以使用模板方法或基于特征空間的方法等。但是這些方法都是在亮度空間內(nèi)對(duì)眼睛進(jìn)行搜索，其效果難免會(huì)受到獲取圖像時(shí)的外部環(huán)境影響，比如光照條件、臉的朝向和位置，以及表情等。第13頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月基于模板的方法可以分為兩類：預(yù)定模板和變形模板。預(yù)定模板方法是指首先制定出標(biāo)準(zhǔn)的模板，然后計(jì)算檢測(cè)區(qū)域和模板的相關(guān)值，當(dāng)相關(guān)值符合制定的標(biāo)準(zhǔn)時(shí)就判定檢測(cè)區(qū)域?yàn)槿四槨Ｗ冃文０迨侵甘紫戎贫ǔ瞿０鍏?shù)，然后根據(jù)檢測(cè)區(qū)域的數(shù)據(jù)對(duì)參數(shù)進(jìn)行修改至收斂，以達(dá)到檢測(cè)出人臉面部器官位置的目的。現(xiàn)有比較好的方法有：層次模板匹配方法、多模板匹配方法、主動(dòng)形狀模板（ActiveShapeModels,ASM）、主動(dòng)表觀模板（ActiveAppearanceModels,AAM）等。第14頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月基于膚色進(jìn)行人臉檢測(cè)是常用的方法，因?yàn)槿四樐w色和環(huán)境存在較大的顏色差異，所以通過(guò)膚色很容易將人臉和背景環(huán)境區(qū)分，該方法需要建立有關(guān)人臉的膚色顏色模型。計(jì)算機(jī)圖形學(xué)領(lǐng)域定義的顏色模型，就是在某種特定上下文中對(duì)于顏色的特性和行為的解釋方法。第15頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月RGB顏色空間YCbCr顏色空間NTSC顏色空間HSV顏色空間第16頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月是彩色最基本的表示空間。R、G、B分別代表紅（Red）、綠（Green）、藍(lán)（Blue）3種基本顏色，每種顏色的亮度大小用數(shù)字0~255表示。通過(guò)R、G、B3個(gè)顏色通道的變化以及它們相互之間的疊加可得到1670萬(wàn)種顏色。第17頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月又稱YUV空間，是視頻圖像和數(shù)字圖像中常用的色彩空間，主要用于數(shù)字電視系統(tǒng)中。Y代表亮度，Cb、Cr分別為藍(lán)色分量和紅色分量。此模型中的數(shù)據(jù)可以是雙精度類型，但存儲(chǔ)空間為8位無(wú)符號(hào)整型空間。Y的取值范圍為16~235，Cb和Cr的取值范圍為16~240。在目前通用的圖像壓縮算法中（如JPEG算法），首要的步驟就是將圖像顏色空間轉(zhuǎn)換為YCbCr空間。從RGB轉(zhuǎn)換為YCbCr，輸入輸出都是8位二進(jìn)制格式，轉(zhuǎn)換公式如下：Y=0.2990R+0.5870G+0.1140BCb=-0.1687R-0.3313G+0.5000B+128Cr=0.5000R-0.4187G-0.0813B+128其中，R、G、B是RGB顏色空間中紅綠藍(lán)3個(gè)顏色通道的顏色值。第18頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月是一種用于電視圖像的顏色空間。使用YIQ色彩坐標(biāo)系，其中，Y為光亮度，表示灰度信息；I為色調(diào)，Q為飽和度，均表示顏色信息。因此，該空間的主要優(yōu)點(diǎn)就是將灰度信息和顏色信息進(jìn)行區(qū)分表示。第19頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月HSV空間是面向用戶的，是一種復(fù)合主觀感覺(jué)的顏色空間。H、S、V分別指的是色調(diào)（彩）（Hue）、色飽和度（Saturation）和明度（Value）。所以，在這個(gè)空間中，一種顏色的參數(shù)便是H、S、V3個(gè)分量構(gòu)成的三元組。第20頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月第21頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月基于人臉形狀特征的檢測(cè)實(shí)現(xiàn)代碼實(shí)現(xiàn)基于膚色模型的人臉檢測(cè)代碼第22頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月%顯示原始圖像、灰度圖像和二值化圖像clearall[filename,pathname]=uigetfile({'*.jpg','JPEG文件(*.jpg)';'*.bmp','BMP文件(*.bmp)';});if(filename==0),return,endglobalFILENAME%聲明全局變量FILENAME=[pathnamefilename];I=imread(FILENAME);figure(1),imshow(I);%顯示圖像II1=rgb2gray(I);%RGB圖轉(zhuǎn)化為灰度圖figure(2),imshow(I1);I2=wiener2(I1,[5,5]);%二維維納濾波figure(3),imshow(I2);w1=medfilt2(I1);%中值濾波figure(4),imshow(w1);BW1=im2bw(I2);%二值化BW2=im2bw(w1);figure(5),imshow(BW1);figure(6),imshow(BW2);第23頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月%二值圖像預(yù)處理，減小背景區(qū)域，盡量去除圖像中背景區(qū)域，為人臉區(qū)域檢測(cè)定位做好準(zhǔn)備[n1,n2]=size(BW2);%圖像尺寸r=floor(n1/10); %floor向下取整c=floor(n2/10);%尺寸除10x1=1;x2=r;%減小背景區(qū)域，將圖像部分邊緣區(qū)域設(shè)置為黑色fori=1:10y1=1;y2=c;forj=1:10if(y2<=c||y2>=9*c)||(x1==1||x2==r*10)BW2(x1:x2,y1:y2)=0;endy1=y1+c;y2=y2+c;endx1=x1+r;x2=x2+r;endfigure(7),imshow(BW2)%顯示減小背景區(qū)域后的圖像第24頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月L=bwlabel(BW2,4);%標(biāo)注各聯(lián)通區(qū)域BB1=regionprops(L,'BoundingBox');%計(jì)算包含這個(gè)區(qū)域的最小矩形坐標(biāo)BB3=struct2cell(BB1);%將各聯(lián)通區(qū)域的坐標(biāo)轉(zhuǎn)換成元胞數(shù)組BB4=cell2mat(BB3);%將各聯(lián)通區(qū)域的元胞數(shù)組坐標(biāo)轉(zhuǎn)換成數(shù)組[s1,s2]=size(BB4);mx=0;%通過(guò)確認(rèn)人臉面積在包含連通區(qū)域的矩形中面積最大，

%且面部長(zhǎng)度與寬度比小于2來(lái)確定面部矩形

fork=3:4:s2-1p=BB4(1,k)*BB4(1,k+1);ifp>mx&&(BB4(1,k+1)/BB4(1,k))<2mx=p;j=k;endendfigure(8),imshow(BW2);holdon;rectangle('Position',[BB4(1,j-2),BB4(1,j-1),BB4(1,j),BB4(1,j+1)],'EdgeColor','r')第25頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月原始圖像灰度圖像第26頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月二維維納濾波中值濾波第27頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月二維維納濾波二值化圖像中值濾波二值化圖像第28頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月去除圖像背景區(qū)域圈出人臉部位第29頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月我們采用一種基于膚色信息和眼睛粗略定位的人臉檢測(cè)算法。該算法先對(duì)AnilK.Jain的Cb、Cr橢圓聚類方法進(jìn)行了改進(jìn)，用改進(jìn)的算法進(jìn)行膚色提取，經(jīng)過(guò)膚色區(qū)域的分析，對(duì)人臉區(qū)域進(jìn)行預(yù)檢測(cè)，確定人臉可能區(qū)域，然后再根據(jù)眼睛的粗略定位進(jìn)一步確定人臉區(qū)域。第30頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月%AnilK.Jain提出的基于YCbCr顏色空間的膚色模型

%根據(jù)當(dāng)前點(diǎn)的CbCr值判斷是否為膚色

functionresult=skin(Y,Cb,Cr)%參數(shù)

a=25.39;b=14.03;ecx=1.60;ecy=2.41;sita=2.53;cx=109.38;cy=152.02;xishu=[cos(sita)sin(sita);-sin(sita)cos(sita)];%如果亮度大于230，則將長(zhǎng)短軸同時(shí)擴(kuò)大為原來(lái)的1.1倍

if(Y>230)a=1.1*a;b=1.1*b;end

膚色分析（skin.m）第31頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月%根據(jù)公式進(jìn)行計(jì)算

Cb=double(Cb);Cr=double(Cr);t=[(Cb-cx);(Cr-cy)];temp=xishu*t;%temp為value=(temp(1)-ecx)^2/a^2+(temp(2)-ecy)^2/b^2;%大于1則不是膚色，返回0；否則為膚色，返回1ifvalue>1result=0;elseresult=1;end第32頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月%判斷二值圖像中是否含有可能是眼睛的塊

%bImage----二值圖像

%x---------矩形左上角頂點(diǎn)X坐標(biāo)

%y---------矩形左上角頂點(diǎn)Y坐標(biāo)

%w---------矩形寬度

%h---------矩形長(zhǎng)度

%如果有則返回值eye等于1，否則為0functioneye=findeye(bImage,x,y,w,h)%根據(jù)矩形相關(guān)屬性得到二值圖像中矩形區(qū)域中的數(shù)據(jù)

%存放矩形區(qū)域二值圖像信息

part=zeros(h,w);判斷可能有眼睛的塊(findeye.m)第33頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月%二值化

fori=y:(y+h)forj=x:(x+w)ifbImage(i,j)==0part(i-y+1,j-x+1)=255;elsepart(i-y+1,j-x+1)=0;endendend[L,num]=bwlabel(part,8);%bwlabel對(duì)圖像進(jìn)行標(biāo)記就是黑背景下%%面有多少白的塊%如果區(qū)域中有兩個(gè)以上的矩形則認(rèn)為有眼睛

ifnum<2eye=0;elseeye=1;end第34頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月functionfacedetection(img_name)%讀取RGB圖像

I=imread(img_name);%轉(zhuǎn)換為灰度圖像

gray=rgb2gray(I);%將圖像轉(zhuǎn)化為YCbCr顏色空間

YCbCr=rgb2ycbcr(I);%獲得圖像寬度和高度

heigth=size(gray,1);width=size(gray,2);人臉檢測(cè)(facedetection.m)第35頁(yè)，課件共43頁(yè)，創(chuàng)作于2023年2月%根據(jù)膚色模型將圖像二值化

fori=1:heigthforj=1:widthY=YCbCr(i,j,1);Cb=YCbCr(i,j,2);Cr=YCbCr(i,j,3);if(Y<80)gray(i,j)=0;elseif(skin(Y,Cb,Cr)==1)