某號線新增地鐵人臉識別系統(tǒng)建設(shè)技術(shù)建議書

某號線新增地鐵人臉識別系統(tǒng)建設(shè)技術(shù)建議書第1章概述近年來，隨著高清視頻監(jiān)控系統(tǒng)在地鐵里得到了廣泛應(yīng)用，如何充分利用現(xiàn)有的高清視頻資源，為地鐵公安工作提供更為高效、快捷的破案手段，為地鐵運營、重點人員管理提供更直觀、有效的數(shù)據(jù)參考，是現(xiàn)階段高清視頻應(yīng)用領(lǐng)域需要完成的任務(wù)。人臉識別系統(tǒng)作為最直觀、準確率最高的人類面部特征識別技術(shù)應(yīng)運而生，是基于人的面部特征信息進行身份識別的生物識別技術(shù)。近幾年來，公安部門在地鐵內(nèi)通過人工抽檢的方式，抓獲大量在逃犯。同時地鐵運營方面，逃票、乞討、發(fā)傳單等影響地鐵正常運營的行為也屢禁不止。地鐵作為人們?nèi)粘４罅渴褂玫墓步煌üぞ?，地鐵內(nèi)硬件設(shè)施完善、環(huán)境相對封閉、圖像采集環(huán)境適宜、客流量巨大，是非常適合作為人臉識別系統(tǒng)進行數(shù)據(jù)采集的場所。1.1現(xiàn)狀和需求分析人臉識別是一種生物識別技術(shù)，所謂生物識別技術(shù)就是利用人類固有的生物特征來進行身份驗證的技術(shù)。人體生物特征可以按照先天固有和后天形成分為生理特征和行為特征兩大類。生理特征包括人們常見的指紋、手紋、人臉、掌紋、視網(wǎng)膜、虹膜、DNA等等，這些特征都是人類與生俱來的。而行為特征則是后天形成的，包括簽名、步態(tài)、語調(diào)語速等。相比于其他身份認證方式比如密碼認證、證件認證，生物特征由于具有唯一性和不易偽造等優(yōu)點，所以得到了廣泛的應(yīng)用。人臉識別就是利用人體的生物特征進行識別一種典型方式，相比于其他的一些生物特征識別方式，人臉識別具備以下一些優(yōu)勢：（一）用戶容易接受，侵犯性低：其它的識別方法比如虹膜識別和指紋識別，都需要用戶進行一定程度的配合。虹膜識別需要非?？拷R別機以便提取虹膜信息，指紋識別需要用戶把手指放置到指紋識別機上。而人臉識別由于需要獲取的是人臉圖像，拍照與識別過程并不需要與識別機器做近距離接觸，用戶接受度高，侵犯性低。（二）易擴展性：其它識別方法往往需要專業(yè)的設(shè)備，而基礎(chǔ)人臉識別功能只需要使用攝像頭，依靠相關(guān)識別軟件就可以實現(xiàn)，無需增添其它設(shè)備，性價比高，易于擴展使用。（三）直觀性：人臉識別是利用人的面部特征來進行識別的，這符合實際情況下人類自身對他人身份識別的認知規(guī)律，直觀性好。隨著互聯(lián)網(wǎng)，特別是移動互聯(lián)網(wǎng)的發(fā)展，一個以信息爆炸為特征的大數(shù)據(jù)時代正在到來?，F(xiàn)階段，我國二代證的普及使中國目前逾13億人的身份信息有了數(shù)碼照片數(shù)據(jù)，平安城市聯(lián)網(wǎng)的數(shù)百萬臺監(jiān)控攝像機每天也產(chǎn)生著海量的數(shù)據(jù)信息，種種跡象表明，已經(jīng)跨入大數(shù)據(jù)應(yīng)用時代。公安系統(tǒng)中現(xiàn)有的人臉識別應(yīng)用面臨以下幾個挑戰(zhàn)：（一）對人臉識別的比對容量要求更大、精度要求更高目前公安的戶政管理、出入境、刑偵嫌疑犯的身份識別等各類應(yīng)用，需要基于全國人臉數(shù)據(jù)進行識別，處理的數(shù)據(jù)庫容量上億或十億，處理的比對請求數(shù)量大、模式不統(tǒng)一，如何快速準確地從如此規(guī)模數(shù)據(jù)庫中快速識別身份，是當(dāng)前面臨的挑戰(zhàn)。（二）系統(tǒng)輸入從單純的靜態(tài)圖像擴展到動態(tài)視頻近年來，全國各地公安機關(guān)大力開展視頻監(jiān)控系統(tǒng)建設(shè)，結(jié)合視頻監(jiān)控和人臉識別，實現(xiàn)犯罪嫌疑人的快速識別和實時布控，是提高視頻監(jiān)控效率的一條重要途徑。然而，在視頻監(jiān)控環(huán)境下，人臉識別面臨光線、角度、姿態(tài)、遮擋等一系列因素的影響，如何在復(fù)雜監(jiān)控場景下保證人臉識別的準確性，是當(dāng)前面臨的挑戰(zhàn)（三）重點人員實時預(yù)警傳統(tǒng)的人員管控手段需要人為判斷重點人員信息，然后根據(jù)信息線索做出主觀的判斷，會存在一定的偏差，而且無法及時根據(jù)重點人員信息發(fā)出動態(tài)預(yù)警，預(yù)警的時效性相對較差。采用基于人臉識別的布控系統(tǒng)，第一可幫助公安偵查人員快速識別和辨別特定人員真實身份，把過去難以想象的千萬級的海量照片庫比對需求變成現(xiàn)實，從而有效的為公安視頻偵查、治安管理、刑偵立案等工作提供實戰(zhàn)上的有效幫助和解決方法。第二可幫助公安偵查人員辦案時候追查和通緝，真正從打變?yōu)榉?，能夠極大的減少警力資源浪費和事故發(fā)生概率。1.2建設(shè)目標（一）重點人員實時排查布控公安關(guān)注重點人員包括：高危人員、特殊人員等。高危人員包括有全國在逃人員、全國違法犯罪人員等；特殊人員包括水客、涉恐涉案人員、涉毒人員、重大犯罪前科人員、肇事肇禍精神病人等。對所有進出地鐵的人員通過人臉識別進行排查，當(dāng)所布控的重點人員出現(xiàn)時及時識別并報警，提醒公安干警對其抓捕或采取相應(yīng)措施。地鐵運營關(guān)注重點人員包括：逃票人員、發(fā)傳單人員、乞討人員、盜用免費卡優(yōu)惠卡人員等。當(dāng)關(guān)注人員出現(xiàn)時，及時識別報警，提醒工作人員采取相應(yīng)措施（二）快速人員檢索人臉識別系統(tǒng)針對所有進出地鐵的人員進行人臉記錄，可以根據(jù)需要按時間、攝像機、人臉屬性（年齡段、性別、是否戴眼鏡、民族、是否微笑）等條件快速查詢過人庫中抓拍的人臉數(shù)據(jù)。支持導(dǎo)入一張人臉圖片，檢索指定時間、指定攝像機形成的過人庫中滿足一定相似度條件的過人數(shù)據(jù)，可以確認該名人員在指定時間段內(nèi)是否在指定的攝像機前經(jīng)過。（三）出行軌跡分析系統(tǒng)可支持導(dǎo)入一張人臉圖片，根據(jù)時間段以及相似度閾值在全部的過人庫中檢索該名目標人員的歷史抓拍記錄，結(jié)合攝像機的位置信息，按照時間順序在地圖上繪制出該目標的出行軌跡，通過軌跡可以準確獲取該名人員的活動范圍、落腳點等有用線索第2章人臉識別系統(tǒng)組成2.1總體介紹動態(tài)人臉分析布控系統(tǒng)是一種針對動態(tài)運動的人流進行人臉抓拍、識別、黑名單比對報警的監(jiān)控管理系統(tǒng)，應(yīng)用視頻監(jiān)控技術(shù)、人臉識別技術(shù)，能對多路攝像頭中的人臉進行實時檢測、跟蹤、比對。提供人臉抓拍、識別、黑名單報警等功能。通過網(wǎng)絡(luò)將信息實時反饋至中心，進行數(shù)據(jù)處理和保存，指揮中心人員能夠進行動態(tài)監(jiān)管，及時掌握監(jiān)控人員的運動軌跡，大大提升了視頻監(jiān)控的智能化程度。系統(tǒng)部署上為了保證數(shù)據(jù)安全，黑名單人員相關(guān)的庫（如七類重點人員庫等）通常需要部署在公信信息網(wǎng)，即在公安信息網(wǎng)中實現(xiàn)黑名單人員的比對業(yè)務(wù)。而人臉抓拍相機一般需部署在視頻專網(wǎng)，所以整個系統(tǒng)的部署和應(yīng)用分別由視頻專網(wǎng)和公安信息網(wǎng)相關(guān)應(yīng)用組件組成。在視頻專網(wǎng)中進行人臉圖片的存儲以及人臉結(jié)構(gòu)化與半結(jié)構(gòu)化信息的提取，并通過接口服務(wù)器上傳至公安信息網(wǎng)中，與公安信息網(wǎng)中的黑名單庫進行比對，一旦發(fā)現(xiàn)相似人員，立即報警，并可檢索該人員的人臉軌跡。公安信息網(wǎng)與公安視頻專網(wǎng)間需部署安全接入邊界。2.2邏輯結(jié)構(gòu)系統(tǒng)邏輯結(jié)構(gòu)自下而上由采集層、處理&存儲層、應(yīng)用層組成。采集層：根據(jù)不同的應(yīng)用場景采用不同的前端采集設(shè)備（如人臉卡口相機、移動核查APP等），完成人臉圖片的采集和上傳。處理&存儲層：由人臉結(jié)構(gòu)化、人臉大數(shù)據(jù)、存儲部分組成。對采集層上傳的數(shù)據(jù)進行實時結(jié)構(gòu)化分析、比對和存儲應(yīng)用層：為系統(tǒng)提供黑名單布控、人員軌跡刻畫、統(tǒng)計分析、過人檢索、設(shè)備管理、人像庫管理、報警記錄等功能，并通過統(tǒng)一的可視化界面進行呈現(xiàn)第3章地鐵動態(tài)人臉識別系統(tǒng)整體架構(gòu)設(shè)計組網(wǎng)架構(gòu)本建設(shè)模式在車站警用專網(wǎng)進行人臉集中式建設(shè)，在各個車站建設(shè)人臉采集終端，通過專用視頻網(wǎng)絡(luò)將終端采集的人臉圖片推送到公安分局寫入存儲設(shè)備并將人臉小圖及大圖URL鏈接進行人臉解析，分局中心人臉識別平臺對人臉小圖進行人臉特征數(shù)據(jù)提取，寫入數(shù)據(jù)庫，同時人臉特征數(shù)據(jù)及URL鏈接通過接口服務(wù)器推送至公安內(nèi)網(wǎng)與布控庫人員信息庫進行比對，一旦黑名單人員出現(xiàn)，在分局內(nèi)網(wǎng)客戶端產(chǎn)生報警。此外根據(jù)地鐵運營需要，地鐵公司需要對其他人員進行布控時，可將公安專網(wǎng)中的人臉特征數(shù)據(jù)及圖片URL鏈接推送至OCC控制中心進行人臉布控。第4章地鐵動態(tài)人臉識別系統(tǒng)詳細設(shè)計4.1前端采集設(shè)計4.1.1前端應(yīng)用場景在地鐵人臉識別系統(tǒng)設(shè)計應(yīng)用場景選擇通常選擇在地鐵進出站通道、換乘通道、進/出/雙向閘機以及安檢門等重點部位。針對不同安裝位置優(yōu)缺點分析如下：4.1.2安裝環(huán)境要求1.通用要求安裝位置：處于通道或者出入口的正前方。安裝高度：建議2.5米~3米。監(jiān)控區(qū)域?qū)挾龋航ㄗh0.8米~3米相機俯視角度：建議15度以內(nèi)相機距離抓拍點的水平距離：和選用的不同鏡頭的焦距有關(guān)系，焦點在通道出入口，且人臉像素建議不小于120*120。為保證人臉可識別，行進距離應(yīng)不小于2m，行進時間不低于1s，行人速度小于2.7m/s環(huán)境光要求：光照均勻，人臉左右兩邊的補光均勻（不偏暗或偏亮）。避免強順光、逆光、寬動態(tài)、玻璃門反光場景，影響人臉識別。2.進出站、換乘通道部署要求?人臉檢測器部署在通道正上方，水平偏轉(zhuǎn)角度越小越好；?人臉檢測器采用吊裝方式，向下傾斜，垂直俯視角度α=10±3°；?覆蓋寬度≤3米，人臉像素應(yīng)≥120*120個像素點；?人臉檢測器與行人之間無遮擋；3.閘機及安檢?人臉檢測器部署在閘機通道正上方，水平偏轉(zhuǎn)角度越小越好；?人臉檢測器采用吊裝方式，向下傾斜，垂直俯視角度α=10±3°；?每個人臉檢測器覆蓋2個閘機通道，人臉像素應(yīng)≥120*120個像素點；?人臉檢測器與行人之間無遮擋；4.1.3前端技術(shù)要求人臉檢測器采用高清逐幀檢測/跟蹤技術(shù)，自動掃描（檢測）監(jiān)測區(qū)域內(nèi)的人員，使用高效的人臉檢測算法，配合先進的目標融合、決策策略，實時定位出其中含人臉信息的區(qū)域，實現(xiàn)智能化的實時人臉檢測、捕獲、篩選。?實現(xiàn)對人臉進行識別抓拍，通過人臉評價算法篩選出最佳人臉圖片傳輸至后端平臺?攝像機分辨率不低于1080P，先進的H.265編碼算法，壓縮效率更高?采用狀態(tài)辨識機理減少復(fù)雜背景的干擾。?可檢測左右旋轉(zhuǎn)≤30°，上下旋轉(zhuǎn)≤15°的人臉；?人臉瞳距要求為60-80，且人臉像素不小于120*120?可檢測寬度60像素以上的人臉；4.2人臉結(jié)構(gòu)化分析模塊設(shè)計4.2.1技術(shù)原理動態(tài)人臉分析布控系統(tǒng)的核心之一是人臉結(jié)構(gòu)化分析模塊，基于安防視頻監(jiān)控多媒體數(shù)據(jù)計算的特點，結(jié)合高性能GPU+CPU集群計算技術(shù)，采用分布式集群架構(gòu)，充分考慮系統(tǒng)功能、質(zhì)量和性能等因素，建設(shè)成一個經(jīng)濟實用、功能強大、質(zhì)量優(yōu)異、操作方便、接口豐富的人臉結(jié)構(gòu)化分析系統(tǒng)。人臉結(jié)構(gòu)化分析模塊通過人的臉部上百個關(guān)鍵點定位，可對各種表情、姿態(tài)、角度豐富多變的人臉進行精準關(guān)鍵點定位，該子模塊采用最新的算法，結(jié)合了深度學(xué)習(xí)的五官標定初始化，綜合多個不同標準的多點數(shù)據(jù)集知識，使得同一個模型可以應(yīng)用于不同數(shù)量的關(guān)鍵點檢測，以保障更低的誤差和更好的適應(yīng)性。從而確保在人臉部分遮擋、化妝、大角度偏轉(zhuǎn)、局部模糊、年齡偏差大、胖瘦變化、臉部表情變化的情況下進行精準數(shù)字描述。對由人臉抓拍相機/移動終端上傳的人臉圖片進行結(jié)構(gòu)化建模，將人臉圖片轉(zhuǎn)換為結(jié)構(gòu)化數(shù)字描述。采用先進的深度學(xué)習(xí)技術(shù)，基于深度學(xué)習(xí)理論的多層卷積神經(jīng)網(wǎng)絡(luò)（CNN），采用有感知機（Perceptrons）、BP（BackPropagation）網(wǎng)絡(luò)、RBF（RadialBasisFunction）網(wǎng)絡(luò)等人臉識別算法訓(xùn)練提升技術(shù)。進行神經(jīng)元網(wǎng)絡(luò)的持續(xù)改進，從而快速收斂，不斷提升算法的精度，從而確保在人臉部分遮擋、化妝、大角度偏轉(zhuǎn)、局部模糊、年齡偏差大、胖瘦變化、臉部表情變化的情況下進行精準比對，在比對命中后，自動報警。并對接收到的人臉建模結(jié)構(gòu)化數(shù)據(jù)進行人臉特征比對，識別人臉的性別、年齡段、是否戴眼鏡等人臉特征信息。4.2.2分析模式圖片流分析模式圖片流分析模式，前端相機抓拍人臉，后端服務(wù)器針對圖片進行分析，對后端服務(wù)器計算壓力相對不高，單臺服務(wù)器處理性能高，單路建設(shè)低。但受限于前端處理性能在高人流場景使用時，容易造成前端漏拍情況出現(xiàn)，同時，前端傳輸除視頻以外還需保證圖片傳輸帶寬，所以帶寬要求會較高。4.2.3部署方式本方案設(shè)計采用分布式智能計算集群架構(gòu)，采用“前端智能解析+后端識別”的模型。前端智能解析主要是針對前端人臉抓拍攝像機采用高清逐幀檢測+跟蹤技術(shù)，自動掃描（檢測）監(jiān)測區(qū)域內(nèi)的人員，使用高效的人臉檢測算法，配合先進的目標融合、決策策略，實時定位出其中含人臉信息的區(qū)域，實現(xiàn)智能化的實時人臉檢測、解析、捕獲、篩選，通過人臉評價算法篩選出最佳的人臉圖片上傳至后端人臉識別系統(tǒng)。后端人臉識別系統(tǒng)采用智能計算集群調(diào)度的模式，智能計算集群實現(xiàn)統(tǒng)一管理、智能調(diào)度。4.3大數(shù)據(jù)模塊設(shè)計4.3.1技術(shù)原理從廣義來講，大數(shù)據(jù)涵蓋廣泛，海量的數(shù)據(jù)及應(yīng)用即可理解為大數(shù)據(jù)，大數(shù)據(jù)涵蓋的數(shù)據(jù)類型集中在安防相關(guān)領(lǐng)域，主要以視頻、圖像、物聯(lián)網(wǎng)采集數(shù)據(jù)等信息為主，通過各種前端采集或通過數(shù)據(jù)對接采集到的上述數(shù)據(jù)，通過對原始數(shù)據(jù)進行結(jié)構(gòu)化或半結(jié)構(gòu)化后，存儲在進行了深度優(yōu)化和安防適配的Hadoop+Spark架構(gòu)大數(shù)據(jù)系統(tǒng)中，滿足行業(yè)的基礎(chǔ)應(yīng)用。總體架構(gòu)如下圖所示：存儲層面：在Hadoop中，基于HDFS引入Hbase，做更適合于安防領(lǐng)域的圖像、視頻、文本等信息的結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的存儲，使得數(shù)據(jù)的使用效率更高，有針對性的數(shù)據(jù)存儲表結(jié)構(gòu)設(shè)計，更適用于行業(yè)業(yè)務(wù)，提升數(shù)據(jù)整體讀寫性能。這是在Hadoop的存儲層面做的優(yōu)化改進。計算層面：在Hadoop架構(gòu)中，MapReduce長期以來一直扮演著重要的角色，MapReduce由兩個單詞組成：Map和Reduce，它首先對輸入的文件做Map操作，即將文件分為很多塊，對每一小塊做個映射關(guān)系，就好像對一個雜亂無章的文件做了一份清晰的映射地圖一樣，然后這些小塊的文件再由分布式的計算資源做Reduce計算，最終給出計算結(jié)果，這兩步簡單的操作說來簡單，但實際比較復(fù)雜。這期間，它們的一些中間計算結(jié)果都會存到HDFS/Hbase上，因此，對于一些需要反復(fù)迭代的計算，中間結(jié)果需要反復(fù)的從HDFS/Hbase中讀取，效率就降低了。Spark也是一種并行的分布式計算框架，與MapReduce類似，但Spark的特點在于，它將中間運算結(jié)果放在內(nèi)存上，基于內(nèi)存的數(shù)據(jù)讀取速度比文件系統(tǒng)上要快很多，因此，Spark基于內(nèi)存的計算比MapReduce效率要提高很多。同時，Spark還增加了流數(shù)據(jù)處理、圖數(shù)據(jù)處理等更高級的數(shù)據(jù)處理能力，這些特點都與安防行業(yè)，尤其是視頻圖像為核心的安防業(yè)務(wù)非常契合，因此，在Hadoop的基礎(chǔ)上，引入Spark取代MapReduce，并繼續(xù)有針對性的進行優(yōu)化，不斷的提升大數(shù)據(jù)整體處理性能數(shù)據(jù)交互：SparkStreaming顧名思義，它基于Spark優(yōu)秀的血統(tǒng)，Streaming代表流數(shù)據(jù)，像流水一樣的數(shù)據(jù)需要實時的處理。數(shù)據(jù)都有時效性，大數(shù)據(jù)可以處理歷史數(shù)據(jù)，更要能夠快速的處理實時數(shù)據(jù)，這正是SparkStreaming所擅長的事。SparkStreaming基于單位時間來處理數(shù)據(jù)，為了避免數(shù)據(jù)流的不穩(wěn)定性，降低底層壓力，采用kafka配合SparkStreaming，kafka是一種業(yè)界主流的分布式消息框架，它接收數(shù)據(jù)后將其進行排隊形成消息隊列后，再交給SparkStreaming處理存入Hbase，事實上它在上層起到一個類似緩沖的作用，將數(shù)據(jù)流變得穩(wěn)定而有序的交給底層處理，減輕了底層壓力，提升了數(shù)據(jù)處理的整體效率，數(shù)據(jù)來時，它先進入kafka消息隊列，然后由kafka調(diào)用API發(fā)給SparkStreaming，通過SparkStreaming處理后存入Hbase里面。數(shù)據(jù)搜索：對于海量數(shù)據(jù)的搜索和讀取，我們很自然的想到搜索引擎，ElasticSearch（下文簡稱ES）就是一個實時的分布式搜索和分析引擎，它可以用于全文搜索，結(jié)構(gòu)化搜索以及分析。在Hadoop架構(gòu)中使用ES，因為ES在建立索引以及實時搜索方面相對于Solr有著明顯的優(yōu)勢。第5章系統(tǒng)應(yīng)用功能設(shè)計5.1人員布控將前端捕獲的人臉圖像自動與黑名單中人員圖像進行實時比對，當(dāng)相似度達到閾值時觸發(fā)報警提醒。用戶在實時告警窗口上，當(dāng)有告警的時候會在左側(cè)告警列表實時刷新，右側(cè)地圖界面上報警點會在地圖上相應(yīng)點位顯示一個紅點閃爍提示。當(dāng)有下一個點位實時告警時，會切換到下一個告警點，保證該點位在地圖畫面的中心。5.2軌跡呈現(xiàn)前端攝像機在平臺上配置經(jīng)緯度信息后，可以在地圖上顯示具體的攝像機的位置信息。導(dǎo)入一張人臉圖片，設(shè)置檢索時間段和相似度值，根據(jù)時間段以及相似度閾值在全部的過人庫中檢索該名目標人員的歷史抓拍記錄，結(jié)合攝像機的經(jīng)緯度信息，按照時間順序在地圖上繪制出該目標的行走軌跡，通過軌跡可以獲取該名人員的活動范圍、落腳點等有用線索。該軌跡支持動態(tài)展示，即一個小人圖標在該軌跡路線上按照時間順序移動播放，軌跡播放倍速（1-100）可自由設(shè)置。當(dāng)配置有地圖服務(wù)器并導(dǎo)入路網(wǎng)數(shù)據(jù)時，過人軌跡可按照路網(wǎng)繪制，沒有配置路網(wǎng)信息時，軌跡即為兩個攝像機之間的連線。5.3過人檢索可以按時間、攝像機、人臉屬性（年齡段、性別、是否戴眼鏡、民族、是否微笑）等條件查詢過人庫中抓拍的人臉數(shù)據(jù)，檢索結(jié)果點擊詳情查看抓拍的全景大圖，可以聯(lián)動播放該目標抓拍前后10秒錄像也支持導(dǎo)入一張人臉圖片（支持本地導(dǎo)入或從名單庫導(dǎo)入），檢索指定時間、指定攝像機形成的過人庫中滿足一定相似度條件的過人數(shù)據(jù)，可以確認該名人員在指定時間段內(nèi)是否在指定的攝像機前經(jīng)過，返回