智能相機在實時眼動識別中的應用

1、智能相機在實時眼動識別中的應用智能相機在實時眼動識別中的應用摘 要 : 對基于智能相機的眼動識別系統(tǒng)和方法進行了研究和設計，并對該系 統(tǒng)在常見的各種測試條件下進行了大量的實驗和應用分析。 基于智能相機的眼動 識別系統(tǒng)結構小巧緊湊 ,檢測速度快 ,準確度高，較基于 PC 的檢測系統(tǒng)和頭盔式 檢測設備的性能有大幅的提高。關鍵詞 : 眼動識別 ; 模板匹配 ; 智能相機 ; 嵌入 式系統(tǒng) ; 應用開發(fā)眼動識別是一種通過在視頻幀中不斷檢測眼睛及眼球位置來判斷眼球注視 以及移動方向的過程。眼動識別有非常重要的研究意義，在心理學、醫(yī)學、設計 學1 、工效安全、人機交互 2-3 和軍事領域 4 上都有廣泛的

2、應用和深遠的前景。 當下最尖端的眼動識別系統(tǒng)主要是通過 PC 組合 Web camera 來進行視覺處理5-6 。然而 PC 用作主要計算處理單元體積過于龐大，不足以滿足實際應用的 環(huán)境要求，僅能作為實驗環(huán)境測試之用。由此頭盔式的眼動識別設備應運而生， 這類產(chǎn)品雖能夠部分解決無法攜帶的問題， 但是使用者的舒適感較差， 更重要的 是運算的速度和準確度卻大大降低。 而智能相機以其嵌入式、 低功耗的處理 器，使快速算法成為可能， 尤其在自動化檢測應用中其優(yōu)越和穩(wěn)定的性能，配合 小巧緊湊的結構，非常適合于實時眼動識別應用程序的執(zhí)行。 1 眼動識別算法 提出 Fleck 等提出在智能相機中使用 FPGA

3、 模塊，通過粒子濾波器模型來實 時識別跟蹤 7 ，這個方法需要用大量的樣本，環(huán)境越復雜，描述后驗概率分布 所需要的樣本數(shù)量就越多， 算法的復雜度就越高。 另外，重采樣造成的樣本有效 性和多樣性的損失，會導致樣本貧化現(xiàn)象。本文在虹膜識別應用的基礎上 8 ， 設計開發(fā)了應用在智能相機中的軟件來完成眼動識別的功能， 包括模板匹配、 邊 緣檢測、識別和標識黑眼球中心位置等。 在一般的眼動識別算法中，進行眼動識 別前，首先要對人臉進行檢測，以提高眼動識別追蹤算法的精確度 9 。本文提 出直接選定左眼為感興趣區(qū)域的方法， 快而準確， 然后在感興趣區(qū)域內(nèi)匹配黑眼 球相對眼睛的位置， 不同位置標明不同眼動方向

4、， 以此識別當前眼動狀態(tài)，若隨 時間變化實時檢測就能起到眼球運動識別的效果。 2 基于智能相機的眼動識別設計 2.1 眼動識別方法流程分析將攝像頭設定為連續(xù)檢測眼動信息的狀態(tài)，進行圖像采集和檢測。圖 1 所示為實時眼動識別算法的流程圖。(1)圖像獲?。河脠D像傳感器獲取測試對象的圖片，設置光圈、曝光時間和 增益。 (2) 圖像預處理：將原始圖像轉(zhuǎn)換成灰度圖像。設計目標是每秒數(shù)十 幀的實時檢測，灰度圖足以表現(xiàn)面部為主圖像的邊緣和特征,能夠快速進行大量的模板匹配算法。(3) 眼部檢測：預先設計制作眼部區(qū)域的模板。因為人類眼睛在生理上具有雙眼旋轉(zhuǎn)運動協(xié)調(diào)特性， 故單眼模板兼具速度和可信度。 運用 模板

5、匹配的方法在當前幀圖像中檢測與模板相似的部分，設置相似度的度量值， 由于制作模板民實際檢測時光照條件不完全相同， 還存在圖像的形變， 根據(jù)測試 通常將最小閾值設定在 600 左右最佳 (最大為 1 000) 。(4) 前視模板、左視模板和右視模板： 對感興趣區(qū)域依次匹配黑眼球位置的模板， 默認常態(tài)下眼睛處 于前視狀態(tài)， 若不匹配則再嘗試匹配左視和右視模板。 在三個模板的匹配范圍內(nèi) 都不符合時， 記錄為無匹配方向。 無匹配方向的意義， 例如用于行車安全系統(tǒng)中， 可認為視線脫離安全駕駛狀態(tài)。(5) 確定眼球方向：將第 (4)步中識別到的匹配模板對應返回一個眼動方向，并記錄、顯示于屏幕上。 (6)

6、記錄眼睛坐標： 計算黑眼球的中心坐標。 正視時取正圓的圓心， 左、右視時取橢圓兩焦點的中點， 作為當前眼睛的坐標點。 (7) 標識當前位置：將第 (6)步的坐標作為坐標系原 點，創(chuàng)建坐標系，并疊加于圖像的圖層上，完成當前幀圖像的檢測，開始下一幀 采集。 這種方法可以應用于各種類型的智能相機上， 并可運用各種編程語言 來實現(xiàn)。本文采用 “G” 語言(圖形化的程序語言) ，它提供了儀器 編程和數(shù)據(jù)采集的便捷途徑，在進行原理研究、設計、測試并實現(xiàn)儀器系統(tǒng)時， 可以大大提高工作效率。 2.2 硬件平臺設計 通過 NI 1772 SMART CAMERA 和觸控屏

7、 (或顯示屏 ),即可獨立完成實時眼動識別的圖像采集、 圖像處理、圖像分 析和信息反饋等步驟。 系統(tǒng)非常精簡， 大大降低了可以應用場合的限制。 NI1772智能相機使用In tel Atom Z530(1.6 GHz處理器)，內(nèi)有512 MB的RAM ; 圖像傳感器為 Kodak KAI-0340S 單色 CCD(分辨率 640×480(VGA), 最大可用幀速率 114 f/s) 。通過 RS232 串行連接動態(tài)地控制照明，通過千兆以 太網(wǎng) I/P 和 TCP/IP 協(xié)議，實現(xiàn)與觸摸屏 （HMIS） 相連接進行人機交互，完成配置 調(diào)整和檢測圖像和參數(shù)實時反饋。 2.3 軟

8、件設計與實現(xiàn) ，根據(jù)圖 1 所示流程 算法，設計了軟件程序。VBAI 編譯的算法程序分兩個步驟，首先要規(guī)劃子模塊的次序，合理布局分 支的結構， 降低幀率的損失， 提高程序可讀性便于修改。然后對應每個子模塊的 作用，完善各個模塊的功能。 由箭頭相連接的為子模塊，方框內(nèi)是具體每個 模塊的子函數(shù)。 子模塊 acq 實現(xiàn)采集圖像 ,子模塊 Inspect center 、Inspect left 、 Inspect right完成尋找眼部感興趣區(qū)域（本文中使用左眼為ROI），并對該區(qū)域進 行多次匹配，確定當前眼球所處狀態(tài)， 顯示對應狀態(tài)的反饋提示； 子模塊 Inspect 2 提示處 理檢測過 程中的

9、錯誤 信息，與用 戶顯示界 面進行信息 傳遞等。 （1）acq （圖像獲取）中子函數(shù)： Acquire Image: 通過智能相機的圖像傳感 器獲取單幀圖像， 圖像為灰度圖。 （2）Inspect center 、Inspect left 、Inspect right（正視檢測、左視檢測、右視檢測）中分別有以下4個子函數(shù)：EyeMatch Pattern: 眼動匹配。在調(diào)試階段預先設置好匹配模板，分左視模板（橢圓形模板 ）、正視 （圓形模板 ）、右視 （橢圓形模板 ）3 個。測試檢測時，先匹配感興趣 區(qū)域，減少需要處理的圖像范圍，然后在感興趣區(qū)域內(nèi)依次匹配 3 個模板，找 到與某個模板的灰度特

10、性相似的區(qū)域（設置在 ±45° 范圍內(nèi)旋轉(zhuǎn)的區(qū)域都符合識別范圍），個數(shù)指定為最多一個。若沒有匹配對象也進行第步。Set Coordinate System:構建坐標系統(tǒng)。計算第步中匹配區(qū)域的大小，并 記錄該區(qū)域中心點位置 （正圓的圓心或橢圓兩焦點的中點 ）和匹配區(qū)域與模板對 比傾斜的角度。對沒有匹配對象的幀跳過當前步驟。Create Region ofInterest: 建立感興趣區(qū)域。 以第步的中心點位置為坐標原點， 將感興趣區(qū)域設 置為匹配到的眼動區(qū)域， 用圓標記出眼球的位置。 沒有匹配對象的幀則跳過當前步驟。 Draw Eye & T

11、rack:標識眼動檢測結果。在采集到的實時圖 像上覆蓋一個圖層， 將眼球區(qū)域的中心點標記在該圖層上。 程序只記錄所有成功 匹配的幀，此時匹配狀態(tài)值為真，在程序前面板上將匹配到的模板用對應的 “LEFT” 、“CENTER” 、 “RIGHT” 指示進行標識。（3）Inspect 2 （檢測統(tǒng)計）中有以下 3 個子函數(shù)： Calibrate Image at Eye Match Pattern:校正圖像坐標。Set InspectionStatus: 檢測狀態(tài)反饋。反饋此幀圖像

12、是否順利進行了眼動信息識別，檢測過程 中有無報錯，若值為 “FAULT” 則此幀檢測結果無效。Update Eye-tracking Result: 自定義一個前面板， 即用戶界面。 顯示實時采集 到的圖像、檢測狀態(tài)、注視方向、標識眼球位置等。 3 眼動識別實驗分析 3.1 實 驗方法 考慮到眼動識別應具有應用的廣泛性， 需要能夠在不同光照環(huán)境下工 作，因此需要在不同光照條件下可以通過調(diào)整曝光時間來獲取較高質(zhì)量的檢測圖 像，測試環(huán)境越暗，曝光時間越長，幀率越低。反之，光線越好的環(huán)境下幀率越 高。實驗中，模擬駕駛時眼部及頭部的自然狀態(tài)， 對實時眼動識別算法

13、進行應用 實驗。 以 1 min 內(nèi)獲得的實時數(shù)據(jù)作為分析樣本，分別測試了系統(tǒng)在無干 擾測試狀態(tài)、 頭部左右轉(zhuǎn)動干擾 （左右各 45° 以內(nèi)）、面部角度傾斜干擾和特 殊情況 （佩戴眼鏡等局部遮擋 ）條件下的準確性。每個測試條件分別在光線環(huán)境不 同處，分 40 f/s 、50 f/s 、60 f/s 、80 f/s 、100 f/s 、112 f/s（max）6 種不同 圖像采集的速度進行對比 ,并在幀率最高的情況下統(tǒng)計檢測 100 幀圖像的效率。3.2實驗數(shù)據(jù)與分析在&dquo;Set Inspection Status”的值為真的條件下，若識別到的眼動狀態(tài) （左視、正視、右視、其他區(qū)域 ）與實際眼動的狀 態(tài)相符 ,則認為是一次成功的檢測 ,反之亦然。 1 min 內(nèi)測試正確率的數(shù)據(jù)整理后 如表 1 所示由表 2 可知， 平均對 100 幀圖片進行識別需要約 40 ms ，每幀僅需要 0.4 ms ，模板匹配部分作為識別檢測的重點占 80%，實時性好，接近使用高性能的PC 進行圖像運算，完全能夠應用于實時在線眼動識別檢測。 本文設計搭建 了一個基于智能相機的實時眼動識別系統(tǒng)， 拓寬了眼動識別能夠應用的場合， 并 自主設計了在該硬件系統(tǒng)平臺上可以運行的眼動識別軟件， 進行了大量不同環(huán)