《AI硬件與Pyhthon編程實踐》09人眼檢測與瞳孔檢測寫字字帖

人眼檢測與瞳孔檢測人工智能開源硬件與python編程實踐情境導(dǎo)入智能手機(jī)、智能相機(jī)普遍采用了自動跟蹤人臉、自動對焦的技術(shù)，輔助人們拍下美好畫面。新功能還支持實時檢測眼睛，實現(xiàn)自動對焦。在人臉檢測的基礎(chǔ)上進(jìn)一步進(jìn)行人眼和瞳孔檢測有很多重要用途。在學(xué)校智慧教室中，利用人眼檢測等技術(shù)可以判斷學(xué)生有沒有集中精力學(xué)習(xí)，有沒有關(guān)注講臺等，進(jìn)行課堂教學(xué)質(zhì)量的監(jiān)控。

任務(wù)與目標(biāo)了解人眼檢測與瞳孔檢測技術(shù)的基本原理、Haar相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工智能機(jī)器視覺開源硬件設(shè)計智能應(yīng)用系統(tǒng)的方法，掌握Python語言的編程方法；應(yīng)用人工智能機(jī)器視覺開源硬件和Python相關(guān)算法，編寫代碼調(diào)用HaarCascade算法，實現(xiàn)人眼檢測與瞳孔檢測功能；針對生活應(yīng)用場景進(jìn)行創(chuàng)意設(shè)計，設(shè)計有實用價值的人眼檢測與瞳孔檢測應(yīng)用系統(tǒng)。知識拓展：Haar分類器訓(xùn)練過程采集人臉圖像，建立人臉、非人臉樣本集；計算Haar-like特征值和積分圖；進(jìn)行弱分類器訓(xùn)練，篩選出T個最優(yōu)弱分類器；把這T個最優(yōu)弱分類器傳給AdaBoost算法，訓(xùn)練出區(qū)分人臉和非人臉的強(qiáng)分類器；使用篩選式級聯(lián)把強(qiáng)分類器級聯(lián)到一起，提高準(zhǔn)確率。知識拓展：正樣本訓(xùn)練數(shù)據(jù)從開放人臉數(shù)據(jù)集中提取了16個人的人臉圖像數(shù)據(jù)文件，存放在正樣本文件夾中，每個人的人臉圖像文件單獨(dú)另建一個子目錄存放。知識拓展：負(fù)樣本訓(xùn)練數(shù)據(jù)收集一批與人臉無關(guān)的圖像作為人臉分類器的負(fù)樣本文件。這些圖像都不包含有完整人臉，主要是人身體的其它部位，以及戶外、居室、教室等人們經(jīng)?；顒拥牡胤?。負(fù)樣本照片存放在負(fù)樣本文件夾中。知識拓展：創(chuàng)建訓(xùn)練樣本格式化訓(xùn)練數(shù)據(jù)。啟動訓(xùn)練前，需要對所收集的樣本數(shù)據(jù)進(jìn)行規(guī)范化，需要統(tǒng)一圖像文件的大小，寬高比統(tǒng)一設(shè)為1:1，正樣本背景要一致等。實際訓(xùn)練中，一般都是采用20*20像素的小圖像塊，在此基礎(chǔ)上計算出Haar特征。使用opencv的opencv_createsamples工具，通過描述文件的圖片列表清單來創(chuàng)建訓(xùn)練樣本。輸入訓(xùn)練樣本配置文件的路徑，生成vec文件與負(fù)樣本列表文本文件。知識拓展：訓(xùn)練cascade分類器使用分類器訓(xùn)練工具opencv_traincascade。訓(xùn)練中，要把負(fù)樣本和bg.txt文件拷貝到build/x64/vc14/bin目錄下，還需要在data文件夾下新建文件HaarReslut來保存訓(xùn)練的結(jié)果。opencv_traincascade.exe-dataC:\Users\Administrator\Desktop\data\HaarReslut-vecC:\Users\Administrator\Desktop\data\mysamples_341.vec-bgbg.txt-numPos170-numNeg500-numStages12-featureTypeHAAR-w24-h24-minHitRate0.996-maxFalseAlarmRate0.5-modeALL

設(shè)計與實踐模型加載瞳孔定位瞳孔檢測系統(tǒng)的Python編程運(yùn)行結(jié)果分析模型加載視覺庫內(nèi)置有已經(jīng)訓(xùn)練好的相關(guān)Haar模型，如“frontalface”人臉模型和“eye”人眼模型，編程是直接指定即可。人臉檢測模型的加載#加載HaarCascade級聯(lián)分類器，啟用內(nèi)置人臉檢測模型，分類器的比對階段數(shù)設(shè)置為25；face_cascade=image.HaarCascade("frontalface",stages=25)人眼檢測模型的加載#加載HaarCascade級聯(lián)分類器，啟用內(nèi)置人眼檢測模型，分類器的比對階段數(shù)設(shè)置為25；face_cascade=image.HaarCascade("eye",stages=25)瞳孔定位利用人臉Haar模型在整個圖像幀中快速搜索到人臉后，再啟用人眼Haar模型在人臉區(qū)域中檢測人眼區(qū)域。在檢測到的2個人眼區(qū)域中分別尋找區(qū)域中顏色最深處的中心點(diǎn)，就當(dāng)做瞳孔的位置。先使用image.find_features()和Haar算子frontalface來搜索人臉。然后使用image.find_features和Haar算子find_eye在人臉區(qū)域搜索眼睛。最后，在返回的每個眼睛ROI區(qū)域上調(diào)用這一方法，得到瞳孔的位置坐標(biāo)。瞳孔檢測的編程#在識別到的人眼中尋找瞳孔。

foreineyes:#e是先前過程中搜索到的若干人眼矩形區(qū)域；

iris=img.find_eye(e)

#find_eye((x,y,w,h))參數(shù)是一個矩形區(qū)域，左上頂點(diǎn)為（x,y），寬w,高h(yuǎn)。（x,y,w,h）是一個元組，不要漏掉括號（）；

#find_eye的功能是找到區(qū)域中顏色最深處的中心點(diǎn)；

img.draw_rectangle(e) #用矩形標(biāo)記人眼區(qū)域；

img.draw_cross(iris[0],iris[1])#用十字形標(biāo)記瞳孔。運(yùn)行情況先采集現(xiàn)場的視頻圖像，檢測出人臉，再檢測到人眼區(qū)域，最后定位到瞳孔。分析與思考訓(xùn)練人臉檢測HarrCascade級聯(lián)分類器時，請分析負(fù)樣本圖像的作用。如果設(shè)計一個校園學(xué)生人臉檢測系統(tǒng)，自行訓(xùn)練學(xué)生人臉Harr模型時應(yīng)該如何收集準(zhǔn)備負(fù)樣本圖像？很多家庭都喜歡寵物，如果設(shè)計一個寵物狗智能監(jiān)管系統(tǒng)，如何進(jìn)行狗臉的檢測與識別？請根據(jù)項目介紹的Harr模型訓(xùn)練方法，提出你的實施方案，有條件可以準(zhǔn)備正負(fù)樣本圖像，