人臉識別性能測試方案

1、人臉識別系統(tǒng)性能測試方案2017年12月 目錄1 事項說明12 測試目的23 測試方式24 測試內(nèi)容25 測試環(huán)境25.1網(wǎng)絡(luò)環(huán)境25.2硬件環(huán)境26 靜態(tài)人像比對系統(tǒng)評測36.1方案描述36.2測試數(shù)據(jù)準備36.3測試步驟36.4評判指標46.5評判方法47 動態(tài)離線視頻布控測試57.1方案描述57.2測試數(shù)據(jù)準備57.3測試步驟57.4評判指標67.5評判方法78 最終成績統(tǒng)計79 測試流程71 事項說明l 參測廠商操作系統(tǒng)安裝及軟件和人口照片數(shù)據(jù)導(dǎo)入、測試調(diào)試工作，具體部署時間由甲方通知各個參測單位；l 參測廠商自行準備測試環(huán)境所需的所有硬件，操作系統(tǒng)及軟件環(huán)境；l 參測廠商上報不超過2

2、人的現(xiàn)場操作團隊，并提供現(xiàn)場操作人員的身份信息（姓名、身份證號、聯(lián)系方式），由組織測試方進行身份核查，所有測試人員進場前上交通訊工具；l 組織測試方提供所有測試數(shù)據(jù)，對于提供的測試素材（人像照片），參測單位有保密義務(wù)，不得外泄或復(fù)制，禁止拍照、截圖；l 為保證本次系統(tǒng)測試數(shù)據(jù)的安全和保密性，確保測試數(shù)據(jù)不外泄，本次測試過程中的數(shù)據(jù)轉(zhuǎn)換，編輯和認定均應(yīng)在組織者制定的場地進行，并于測試前簽訂保密協(xié)議，參測人員不允許能通過任何移動存儲介質(zhì)（手機、U盤、移動硬盤以及光盤等）或網(wǎng)絡(luò)方式將測試數(shù)據(jù)帶離測試現(xiàn)場；l 為保證本次測試的公平公正公開，局域網(wǎng)中嚴禁使用個人公司的筆記本，對于測試環(huán)境有任何的數(shù)據(jù)導(dǎo)入

3、，都需要有測試方專人在場監(jiān)督下方可進行，嚴禁將測試環(huán)境的數(shù)據(jù)導(dǎo)出，帶離測試現(xiàn)場。l 測試結(jié)束后，所有參測設(shè)備須由測試組織方清空并格式化后方能帶離。2 測試目的了解各企業(yè)人臉識別系統(tǒng)的實際性能表現(xiàn)；評估現(xiàn)有人臉識別系統(tǒng)對公安實戰(zhàn)應(yīng)用需求的滿足程度；為后期人臉識別技術(shù)系統(tǒng)建設(shè)選型提供數(shù)據(jù)依據(jù)。3 測試方式采用實驗室測試的方式。4 測試內(nèi)容本次測試包括兩個方面：靜態(tài)識別技術(shù)測試，動態(tài)識別技術(shù)測試。5 測試環(huán)境5.1網(wǎng)絡(luò)環(huán)境為了保證測試的公平公正，靜態(tài)測試與離線視頻測試的測試環(huán)境一律采用單機或單集群局域網(wǎng)，不得接入外網(wǎng)，和外界物理隔離。5.2硬件環(huán)境此次測試機器由各廠家自行提供，測試前需向組織測試方報

4、備機器數(shù)量及具體參數(shù)配置。6 靜態(tài)人像比對系統(tǒng)評測6.1方案描述l 由測試方提供證件照底庫和多組查詢照。參測單位對底庫照片進行建庫，并啟動人像檢索功能，系統(tǒng)需將查詢返回的前二十名結(jié)果保存下來，由測試方統(tǒng)計命中結(jié)果。6.2測試數(shù)據(jù)準備測試數(shù)據(jù)描述證件照底庫5000萬張證件照照片查詢照片查詢照總共300張，包括低清視頻截圖照、高清視頻截圖、其他照片三類照片數(shù)據(jù)。6.3測試步驟測試步驟描述描述測試數(shù)據(jù)準備1.組織測試方準備5000萬證件照底庫，并將300張測試數(shù)據(jù)集的登記照混入人像庫，并進行統(tǒng)一重命名。2.將5000萬張照片壓縮為一個zip格式壓縮包，作為測試數(shù)據(jù)源。廠家建立人像庫1.各測試參商將測

5、試服務(wù)器部署到組織測試方指定區(qū)域，組織測試方以移動硬盤為介質(zhì)將5000萬數(shù)據(jù)壓縮包以隨機順序移交給參測廠商。2.各參測廠商拷貝人像庫壓縮包結(jié)束后，統(tǒng)一開始計時，要求在4天內(nèi)完成建庫，6天未完成建庫，則靜態(tài)算法測試計零分。廠家測試1.參測廠商以隨機順序依次一一進行測試，組織測試方以U盤為介質(zhì)，將300張測試集查詢照下發(fā)給當前參測廠商。2.參測單位啟動系統(tǒng)進行批量自動人像檢索，將得到在底庫中的前20名最相似人員結(jié)果寫入CSV文件中。測試完成后，參測單位將結(jié)果CSV文件交予測試方。記錄提交的CSV文件的MD5值。3.當前測試廠商在測試過程中不允許對測試圖片進行修改，檢索一旦開啟，不允許對機器進行操作

6、。4.測試過程中，非當前測試廠商的測試人員需在指定區(qū)域休息，不得操作各自服務(wù)器。5.比對時間為連續(xù)2小時以內(nèi)，超過2.5小時則靜態(tài)算法項計零分。人工驗證測試結(jié)果測試方對各廠家的測試結(jié)果和標準答案進行對比，記錄結(jié)果，并形成測試報告。6.4評判指標各廠家提交的csv表格格式如下：查詢照首位第二位第二十Q0001B03B44B79Q0002A02B53B39統(tǒng)計量說明：l 首位命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標人物位于第一位，即相似度最高；l 前十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標人物位于前二至十位；l 前二十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標人物位于前十一至二十位6.5評判方法命中情況首位2-10位11

7、-20位分數(shù)權(quán)重10.50.1命中數(shù)量ABC總分（百分制）100*(1*A+0.5*B+0.2*C)/(300)7 動態(tài)離線視頻布控測試7.1方案描述l 測試方提供離線視頻文件，同時會提供一定數(shù)量登記照片作為布控庫。參測單位將布控人員導(dǎo)入測試系統(tǒng)，并啟動離線視頻分析比對功能。系統(tǒng)需將離線視頻分析過程中報警比中結(jié)果記錄保存下來，由測試方統(tǒng)計報警情況。7.2測試數(shù)據(jù)準備測試數(shù)據(jù)描述證件照底庫30萬張底庫布控照片。攝像頭架設(shè)按人臉卡口標準架設(shè)。離線視頻錄制步驟1. 將20位黑名單人員，將其證件照混入布控底庫中2. 測試前，組織方組織測試人員前往測試點位進行視頻錄制3. 黑名單人員人通過鏡頭5次，即最

8、終有視頻有100人次通過4. 所有黑名單過人記錄信息整理為CSV文件，對于每一個視頻中出現(xiàn)的黑名單人員，標注其ID，起始時間，結(jié)束時間作為一次過人記錄，以作為黑名單過人記錄的標準答案7.3測試步驟測試步驟描述描述測試數(shù)據(jù)準備1.測試方準備30萬證件照底庫，并將20張黑名單的證件照混入人像庫，并進行統(tǒng)一重命名2.測試方按照離線視頻錄制方法錄制一段時長約30分鐘，人流量約為1000的離線視頻，轉(zhuǎn)換為標準AVI格式，作為測試所用視頻源廠家建立人像庫1.各測試參商將測試服務(wù)器部署到組織測試方指定區(qū)域，組織測試方以移動硬盤為介質(zhì)將30萬數(shù)據(jù)壓縮包以隨機順序移交給參測廠商2.參測廠商拷貝人像庫，導(dǎo)入各自系

9、統(tǒng)，并啟動建庫，要求在一小時內(nèi)完成建庫廠家測試1.組織測試方以U盤為介質(zhì)，將測試視頻下發(fā)給參測廠商2.各參測廠商將視頻文件上傳至人臉識別系統(tǒng)，為了比較各廠家在同一誤報率下的準確率，各廠家需以同一誤報數(shù)量的前提下，調(diào)整自身報警閾值，維持此時的報警閾值，不得修改。3.測試過程中，組織測試方對參測廠商一對一進行監(jiān)督，不允許參測廠商對報警結(jié)果進行增刪操作4.測試結(jié)束后，參測廠商需將報警結(jié)果在可視化頁面呈現(xiàn)，且將所有報警結(jié)果導(dǎo)出為一個CSV文件，組織測試方依次一 一對參測廠商的報警結(jié)果進行統(tǒng)計人工驗證測試結(jié)果測試方對各廠家的測試結(jié)果和標準答案進行對比，記錄結(jié)果，并形成測試報告7.4評判指標1. 組織測試

10、方統(tǒng)計如下信息量用來評判結(jié)果：a) 系統(tǒng)正確報警數(shù)：指測試結(jié)果中可以匹配標準答案中某次黑名單過人記錄的報警結(jié)果，“匹配”需同時滿足如下條件：i. 布控ID屬于黑名單人員。ii. 報警時間處于該黑名單人員某次過人記錄時間范圍內(nèi)。iii. 報警分數(shù)大于預(yù)設(shè)報警閾值。iv. 去重。如果標準答案中某個過人記錄匹配了多次報警結(jié)果，只算作一次正確報警。b) 系統(tǒng)錯誤報警數(shù)：指測試結(jié)果中不匹配標準答案中對應(yīng)黑名單過人記錄的報警結(jié)果。7.5評判方法1. 組織測試方以隨機順序依次挑選測試廠商進行結(jié)果統(tǒng)計，將參測廠商報警結(jié)果的分數(shù)從高到低排序，從上往下篩選，當找到第十個錯誤報警時，記錄該錯誤報警的報警分數(shù)，統(tǒng)計所有報警分數(shù)在該分數(shù)以上的正確報警結(jié)果，假設(shè)為N，則得分為N。2.為了保證統(tǒng)計的嚴肅性，統(tǒng)計期間其他廠家不得入場，待當前廠家統(tǒng)計完成后，換下一廠家入場統(tǒng)計。8 最終成績統(tǒng)計廠家名稱靜態(tài)測試得分動態(tài)測試得分9 測試流程實驗室測試環(huán)節(jié)