人臉識(shí)別演講ppt課件

1、人臉識(shí)別 / AI,2018.09.07,face detection / AI / week report,匯報(bào)人：芥末醬,前 言,人臉識(shí)別，是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部識(shí)別。 它集成了人工智能、機(jī)器學(xué)習(xí)、模型理論、視頻圖像處理等多樣專業(yè)技術(shù)。 隨著智能手機(jī)的快速普及，可以通過(guò)手機(jī)鏡頭在手機(jī)上做基于人臉識(shí)別的身份注冊(cè)、認(rèn)證、登錄等，使身份認(rèn)證進(jìn)程更安全、方便。由于人臉比指紋等視覺(jué)辨識(shí)度更高，所以刷臉的應(yīng)用前景更廣闊,目錄 / Contents,01,人臉識(shí)別 . 應(yīng)用

2、,02,人臉圖像 . 預(yù)處理,03,人臉圖像 . 特征檢測(cè),04,人臉圖像 . 匹配與識(shí)別,01,人臉識(shí)別 . 初識(shí),人臉識(shí)別分為兩大類：一是回答我是誰(shuí)的問(wèn)題，即辨認(rèn)（Identification），二是回答這個(gè)人是我嗎？即（Verification）。 正常人眼的識(shí)別準(zhǔn)確率是97%，而目前專業(yè)的人臉識(shí)別研究企業(yè)機(jī)構(gòu)可讓其精確度高達(dá)99%以上，若結(jié)合眼紋等多因子驗(yàn)證，準(zhǔn)確率能達(dá)到99.99%。且以人臉識(shí)別技術(shù)為核心的系統(tǒng)，能解決人臉識(shí)別在現(xiàn)實(shí)應(yīng)用場(chǎng)景中面臨的眾多問(wèn)題,應(yīng)用場(chǎng)景 / Application scenario,02,人臉圖像 . 預(yù)處理,預(yù)處理是人臉識(shí)別過(guò)程中的一個(gè)重要環(huán)節(jié)。輸入圖

3、像由于圖像采集環(huán)境的不同，如光照明暗程度、以及設(shè)備性能的優(yōu)劣等，往往存有噪聲，對(duì)比度不夠等缺點(diǎn)。因此我們需要對(duì)其進(jìn)行圖像預(yù)處理,圖像預(yù)處理 / Image preprocessing,灰度化 / Grayscale,灰度變換方法 / Gray scale transformation method,rgbImage = imread(Lena.jpg); grayImage=rgb2gray(rgbImage); J1 = imadjust(grayImage,0 1,0 1,2.5); J2 = imadjust(grayImage,0 1,0 1,1.5); J3 = imadjust(g

4、rayImage,0 1,0 1,0.67); J4 = imadjust(grayImage,0 1,0 1,0.4); subplot(1,5,1);imshow(J1);title(gamma=2.5); subplot(1,5,2);imshow(J2);title(gamma=1.5); subplot(1,5,3);imshow(grayImage);title(原灰度圖像); subplot(1,5,4);imshow(J3);title(gamma=0.67); subplot(1,5,5);imshow(J4);title(gamma=0.4,左圖是一張進(jìn)行灰度變換的灰度圖。

5、先從左上角看，該像素的灰度值為254。然后下一個(gè)灰度值143，對(duì)其進(jìn)行映射，得到的值是一個(gè)比143少的數(shù)。matlab當(dāng)中常用的灰度變換函數(shù)是： imadjust(I,low_in; high_in,low_out; high_out,gamma,幾何變換 / Geometric transformation,平移 se=translate(strel(1),20 20); img2=imdilate(img1,se); figure,imshow(img2); imwrite(img2,a2.jpg,I=imread(baby.bmp); height,width,dim=size(I);

6、tform1=maketform(affine,0,1,0;1,0,0;0,0,1); I1=imtransform(I,tform1,nearest,旋轉(zhuǎn) img3=imrotate(img1,90); figure,imshow(img3); imwrite(img3,a3.jpg, %縮放 img4=imresize(img1,2); figure,imshow(img4); imwrite(img4,a4.jpg,平移,轉(zhuǎn)置,旋轉(zhuǎn),縮放,圖像增強(qiáng) / Image enhancement,歸一化 / Normalized,所謂圖像歸一化, 就是通過(guò)一系列變換, 將待處理的原始圖像轉(zhuǎn)換成相

7、應(yīng)的唯一標(biāo)準(zhǔn)形式(該標(biāo)準(zhǔn)形式圖像對(duì)平移、旋轉(zhuǎn)、縮放等仿射變換具有不變特性,1、什么是歸一化,圖像歸一化使得圖像可以抵抗幾何變換的攻擊，也就是轉(zhuǎn)換成唯一的標(biāo)準(zhǔn)形式以抵抗仿射變換,2、為什么歸一化,線性函數(shù)歸一化(Min-Max scaling) 0均值標(biāo)準(zhǔn)化(Z-score standardization,3、 數(shù)據(jù)歸一化的方法有哪些,03,人臉圖像 . 特征檢測(cè),所謂人臉檢測(cè)，就是給定任意一張圖片，找到其中是否存在一個(gè)或多個(gè)人臉，并返回圖片中每個(gè)人臉的位置和范圍。即找出特征點(diǎn)。 在模式識(shí)別領(lǐng)域，一句重要的話是：“Features matter”。獲得好的特征是識(shí)別成功的關(guān)鍵,深度學(xué)習(xí) . 特征

8、點(diǎn) / DeepLearning,特征點(diǎn)檢測(cè) . 算法 在人臉檢測(cè)的基礎(chǔ)上，根據(jù)輸入的人臉圖像，自動(dòng)定位出面部關(guān)鍵特征點(diǎn)，如眼睛、鼻尖、嘴角點(diǎn)、眉毛以及人臉各部件輪廓點(diǎn)等，輸入：人臉外觀，輸出：人臉特征點(diǎn)集合,人臉對(duì)齊 . 算法 以看作在一張人臉圖像搜索人臉預(yù)先定義的點(diǎn)（也叫人臉形狀），通常從一個(gè)粗估計(jì)的形狀開(kāi)始，然后通過(guò)迭代來(lái)細(xì)化形狀的估計(jì)。方法包括： AAM (Active Appearnce Model) ASM(Active Shape Model,特征點(diǎn)定位 . 算法 利用CNN，由粗到細(xì)，實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)的精確定位。一般網(wǎng)絡(luò)結(jié)構(gòu)分為3層：level 1、level 2、level 3

9、。每層都包含多個(gè)獨(dú)立的CNN模型,特征點(diǎn)提取 . 算法 需要一個(gè)特征提取器(predictor)，構(gòu)建特征提取器可以訓(xùn)練模型。要下載dlib提供的已經(jīng)訓(xùn)練好的關(guān)鍵點(diǎn)提取模型,特征點(diǎn)檢測(cè)算法 / Base on CNN,人臉對(duì)齊算法 / Face alignment,仿射變換以求人臉對(duì)齊,import cv2 import numpy as np from matplotlib import pyplot as plt img = cv2.imread(lena.jpg, 1) rows,cols,channel = img.shape / 仿射函數(shù)，將3個(gè)原圖點(diǎn)坐標(biāo)，和得到結(jié)果圖的3個(gè)點(diǎn)坐標(biāo)，

10、生成參數(shù)帶入函數(shù)得到結(jié)果 pts1 = np.float32(50,50,200,50,50,200) pts2 = np.float32(10,100,200,50,100,250) M = cv2.getAffineTransform(pts1,pts2) dst = cv2.warpAffine(img,M,(cols,rows) plt.subplot(121),plt.imshow(img),plt.title(Input) plt.subplot(122),plt.imshow(dst),plt.title(Output) plt.show(,特征點(diǎn)定位算法 / Feature l

11、ocation,F1定位所有的5個(gè)關(guān)鍵點(diǎn), EN1用于定位:左眼+右眼+鼻子 三個(gè)特征點(diǎn), NM1用于定位：左嘴角+右嘴角+鼻子 三個(gè)特征點(diǎn),level1粗定位，包含3個(gè)CNN,每?jī)蓚€(gè)CNN負(fù)責(zé)預(yù)測(cè)同一個(gè)關(guān)鍵點(diǎn)，然后取平均得到這一點(diǎn)的精確預(yù)測(cè)。輸入為在level1輸出的關(guān)鍵點(diǎn)周?chē)木植坎眉魣D像,level2精確定位，包含10個(gè)CNN,level3更精確定位,結(jié)構(gòu)和作用與level2一致，10個(gè)CNN，兩兩平均，只是輸入的圖像是在leve2關(guān)鍵點(diǎn)基礎(chǔ)上做了更小的裁剪,特征提取算法 / Feature extraction,首先，需要一個(gè)特征提取器(predictor)，構(gòu)建特征提取器可以訓(xùn)練模型

12、。要下載dlib提供的已經(jīng)訓(xùn)練好的關(guān)鍵點(diǎn)提取模型。因?yàn)槲业娜四槇D片是不同角度的，所以不一定能夠檢測(cè)到人臉，所以當(dāng)檢測(cè)不到人臉時(shí)，依次旋轉(zhuǎn)圖片60度，再次檢測(cè)，直到能夠檢測(cè)到人臉為止，如果旋轉(zhuǎn)了360度還是檢測(cè)不到人臉的話，那么認(rèn)為該圖片中不存在人臉,關(guān)鍵點(diǎn)提取,提取-保存,保存68個(gè)關(guān)鍵點(diǎn),對(duì)照著左圖，比如說(shuō)想獲取鼻尖的坐標(biāo)，那么橫坐標(biāo)就是shapes0.part30.x()，其余的類似,特征提取算法 / Feature extraction,include #include #include #include #include #include using namespace dlib; u

13、sing namespace std; int main() try cv:VideoCapture cap(0);/.先初始化,打開(kāi)視頻 if (!cap.isOpened() cerr Unable to connect to camera endl; return 1;,關(guān)鍵點(diǎn)提取,frontal_face_detector detector =get_frontal_face_detector(); shape_predictor pose_model; deserialize(shape_predictor_68_face_landmarks.dat) pose_model; whi

14、le (cv:waitKey(30) != 27) / Grab a frame cv:Mat temp; cap temp; cv_image cimg(temp);/ Detect faces std:vector faces = detector(cimg);/ Find the pose of each face. std:vector shapes; for (unsigned long i = 0; i faces.size(); +i) shapes.push_back(pose_model(cimg, facesi); if (!shapes.empty() for (int

15、i = 0; i 68; i+) circle(temp, cvPoint(shapes0.part(i).x(), shapes0.part(i).y(), 3, cv:Scalar(0, 0, 255), -1);/shapes0.part(i).x();/68個(gè) /Display it all on the screen imshow(Dlib特征點(diǎn), temp);,04,人臉圖像 . 匹配與識(shí)別,提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫(kù)中存儲(chǔ)的特征模板進(jìn)行搜索匹配，通過(guò)設(shè)定一個(gè)閾值，當(dāng)相似度超過(guò)這一閾值，則把匹配得到的結(jié)果輸出。根據(jù)相似程度對(duì)人臉的身份信息進(jìn)行判斷。這一過(guò)程又分為兩類：一類是確

16、認(rèn)（1：1）另一類是辨認(rèn)（1：N,人臉識(shí)別 / Face recognition,通過(guò)計(jì)算特征向量之間的歐氏距離來(lái)得到人臉相似程度。在LFW上面取得了當(dāng)時(shí)最好的成績(jī)，識(shí)別率為99.63,原理,1. 先導(dǎo)入模型參數(shù) 2. 然后導(dǎo)入兩張圖片，分別獲取其經(jīng)過(guò)模型后得到的128維特征向量 3. 最后計(jì)算兩個(gè)向量的歐氏距離,步驟,歐幾里得度量（euclidean metric）（也稱歐氏距離）是一個(gè)通常采用的距離定義，指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離，或者向量的自然長(zhǎng)度（即該點(diǎn)到原點(diǎn)的距離）。在二維和三維空間中的歐氏距離就是兩點(diǎn)之間的實(shí)際距離,計(jì)算歐氏距離,歐氏距離 / Euclidean Distance,精確度比較 / Accuracy Comparison,SeetaFace 由中科院計(jì)算所山世光帶領(lǐng)研究組研發(fā)。代碼基于C+實(shí)現(xiàn)，不依賴第三方庫(kù)。但存在缺陷： 1）人臉檢測(cè)速度很慢 無(wú)法達(dá)到實(shí)時(shí) 2）人臉對(duì)齊模塊其實(shí)不是很前沿 因?yàn)橹挥形鍌€(gè)點(diǎn) 3）實(shí)驗(yàn)過(guò)demo，相似度基本沒(méi)有達(dá)到0.8,DeepFace 在使用前需要進(jìn)行3D對(duì)齊處理。在訓(xùn)練的時(shí)沒(méi)有進(jìn)行對(duì)齊，采用了通過(guò)對(duì)圖片進(jìn)行翻轉(zhuǎn)，切片等