(高清版)GBT 37036.7-2023 信息技術(shù) 移動設(shè)備生物特征識別 第7部分：多模態(tài)

信息技術(shù)移動設(shè)備生物特征識別第7部分：多模態(tài)2023-03-17發(fā)布GB/T37036.7—2023前言 I Ⅱ 2規(guī)范性引用文件 3術(shù)語和定義 4總體框架 24.1融合層級 24.2技術(shù)架構(gòu) 25業(yè)務(wù)流程 35.1概述 35.2樣本級融合 35.3特征級融合 45.4分數(shù)級融合 55.5決策級融合 66功能要求 86.1總體要求 86.2多模態(tài)特征采集模塊 86.3多模態(tài)特征存儲模塊 86.4多模態(tài)特征比對模塊 97注冊失敗率和識別響應(yīng)時間 7.1多模態(tài)識別注冊失敗率 97.2多模態(tài)識別響應(yīng)時間 8安全要求 98.1總體要求 98.2多模態(tài)信息采集安全 98.3多模態(tài)信息存儲安全 98.4多模態(tài)信息使用安全 9參考文獻 I本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是GB/T37036《信息技術(shù)移動設(shè)備生物特征識別》的第7部分。GB/T37036已經(jīng)發(fā)布了以下部分：——第1部分：通用要求；——第2部分：指紋；——第3部分：人臉；——第4部分：虹膜；——第7部分：多模態(tài)；——第8部分：呈現(xiàn)攻擊檢測。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責任。本文件由全國信息技術(shù)標準化技術(shù)委員會(SAC/TC28)提出并歸口。本文件起草單位：支付寶(中國)網(wǎng)絡(luò)技術(shù)有限公司、中國電子技術(shù)標準化研究院華東分院、人力資源和社會保障部信息中心、新大陸數(shù)字技術(shù)股份有限公司、北京曠視科技有限公司、中國電子技術(shù)標準化研究院、浙江省標準化研究院、螞蟻科技集團股份有限公司、北京中科虹霸科技有限公司、北京曙光易通技術(shù)有限公司、北京得意音通技術(shù)有限責任公司、北京眼神智能科技有限公司、聯(lián)想中天科技有限公司、上海商湯智能科技有限公司、小米科技有限責任公司、多尼斯智能科技(東莞)有限公司、北京尊冠科技有限公司、華為終端有限公司、西安凱虹電子科技有限公司、北京郵電大學、北京萬里紅科技有限公司、北京奇虎科技有限公司、江蘇威爾曼科技有限公司、建信金融科技有限責任公司、武漢虹識技術(shù)有限公司、浙江大學、惠州學院、廣東九聯(lián)科技股份有限公司、深圳市銘圖創(chuàng)新科技有限公司、國網(wǎng)區(qū)塊鏈科技(北京)有限公司、紫光同芯微電子有限公司、廣東中科臻恒信息技術(shù)有限公司。ⅡGB/T37036《信息技術(shù)移動設(shè)備生物特征識別》擬由9個部分構(gòu)成?！?部分：通用要求。目的在于確立移動設(shè)備生物特征識別的技術(shù)架構(gòu)、通用流程和要求?！?部分：指紋。目的在于確立移動設(shè)備在指紋生物識別方面的流程和要求?！?部分：人臉。目的在于確立移動設(shè)備在人臉生物識別方面的流程和要求?！?部分：虹膜。目的在于確立移動設(shè)備在虹膜生物識別方面的流程和要求。——第5部分：聲紋。目的在于確立移動設(shè)備在聲紋生物識別方面的流程和要求。——第6部分：指靜脈。目的在于確立移動設(shè)備在指靜脈生物識別方面的流程和要求?！?部分：多模態(tài)。目的在于確立移動設(shè)備在多模態(tài)生物識別方面的流程和要求?！?部分：呈現(xiàn)攻擊檢測。目的在于規(guī)定移動設(shè)備呈現(xiàn)攻擊檢測要求?！?部分：測試方法。目的在于描述移動設(shè)備不同類型生物特征識別的功能和性能測試方法?！缎畔⒓夹g(shù)移動設(shè)備生物特征識別》第1部分給出了總體架構(gòu)，提出了通用的要求；后續(xù)部分根據(jù)生物特征識別技術(shù)在移動設(shè)備上的發(fā)展情況，針對指紋、人臉、虹膜、聲紋、指靜脈等具體模態(tài)提出具體要求，最后從安全和性能出發(fā)，對呈現(xiàn)攻擊檢測以及性能測試做出了規(guī)范，指導產(chǎn)品的落地與評估。多模態(tài)識別技術(shù)是移動設(shè)備生物特征識別的重要技術(shù)之一，為提高移動設(shè)備生物特征識別的安全性、性能以及用戶體驗提供很好的技術(shù)解決方案，并且已經(jīng)廣泛用于各種應(yīng)用場景、包括移動支付、電子政務(wù)、電子醫(yī)保等。本文件給出移動設(shè)備生物特征識別多模態(tài)識別技術(shù)要求。1信息技術(shù)移動設(shè)備生物特征識別第7部分：多模態(tài)本文件規(guī)定了移動設(shè)備多模態(tài)識別系統(tǒng)總體框架、2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T36460信息技術(shù)生物特征識別多模態(tài)及其他多生物特征融合GB/T37036.1—2018信息技術(shù)移動設(shè)備生物特征識別第1部分：通用要求GB/T37036.2—2019信息技術(shù)移動設(shè)備生物特征識別第2部分：指紋GB/T37036.3—2019信息技術(shù)移動設(shè)備生物特征識別第3部分：人臉GB/T37036.4—2021信息技術(shù)移動設(shè)備生物特征識別第4部分：虹膜GB/T37036.5—2023信息技術(shù)移動設(shè)備生物特征識別第5部分：聲紋GB/T37036.6—2022信息技術(shù)移動設(shè)備生物特征識別第6部分：指靜脈GB/T40660—2021信息安全技術(shù)生物特征識別信息保護基本要求3術(shù)語和定義下列術(shù)語和定義適用于本文件?？山尤刖W(wǎng)絡(luò)的小型、可手持使用的信息技術(shù)產(chǎn)品。注：本文件中的移動設(shè)備是指通用移動智能終端，如手機、平板式計算機等。模式mode生物特征項biometricfeature從生物特征樣本中提取的用于比對的數(shù)值或標記。注1:生物特征項是完整的生物特征項提取的輸出。注2:該術(shù)語的使用與其在模式識別和數(shù)學領(lǐng)域的使用相一致。注3:生物特征項集也可被看作是一個處理過的生物特征樣本。注4:生物特征項可以從中間生物特征樣本中提取。2注5:應(yīng)用于生物特征樣本的過濾器本身不是生物特征項，如特征臉不是生物特征項，但是過濾器應(yīng)用于樣本的輸出可能是生物特征項。單個生物特征識別系統(tǒng)中，一個模式的三個組成成分中至少有兩個是多重的。注1:多重意味著類型的差異。注2:三個組成成分指生物特征特性的類型、傳感器類型和處理方法。一種基于多模態(tài)進行識別得到確定結(jié)果的生物特征識別技術(shù)。多模態(tài)特征multi-modalfeature用于多模態(tài)識別的生物特征項。4總體框架4.1融合層級移動設(shè)備多模態(tài)識別層級分類按照GB/T36460的描述，一般可以分為樣本級融合、特征級融合、分數(shù)級融合和決策級融合四個層級?！獦颖炯壢诤霞疵總€單一生物特征識別過程輸出一組樣本，將多組生物特征樣本數(shù)據(jù)融合為一個樣本。 特征級融合即每個單一生物特征識別過程輸出一組特征，將多組生物特征融合為一個特征集或者特征向量?！謹?shù)級融合即每個單一生物特征識別過程通常輸出單一匹配分數(shù)，也可能是多個分數(shù)。將多個生物特征識別分數(shù)融合成一個分數(shù)或決策，然后與系統(tǒng)接受閾值進行比較。 決策級融合即每個單一生物特征識別過程輸出一個布爾值。利用混合算法如和與或，或者采用更多參數(shù)，如輸入樣本質(zhì)量分數(shù)將結(jié)果進行融合。4.2技術(shù)架構(gòu)本文件給出的移動設(shè)備多模態(tài)識別技術(shù)架構(gòu)是GB/T37036.1—2018中描述的通用技術(shù)架構(gòu)在多模態(tài)識別應(yīng)用領(lǐng)域的具體化，見圖1。移動設(shè)備生物特征識別多模態(tài)融合過程中，樣本級融合在樣本采集后，特征提取前實現(xiàn)融合；特征級融合在特征提取過程中實現(xiàn)融合；分數(shù)級融合和決策級融合在特征比對模塊被調(diào)用之后實現(xiàn)融合。一個生物特征識別系統(tǒng)通常使用上述融合形式或者層級的一種來完成識別。具體實現(xiàn)上，樣本呈現(xiàn)方式根據(jù)實際情況可采取依次呈現(xiàn)或者是同時呈現(xiàn)的方式。3多模態(tài)識別服務(wù)器多模態(tài)識別服務(wù)器移動應(yīng)用安全環(huán)境多模態(tài)融合識別特征比對;樣本級`融合分數(shù)級融合決策級融合質(zhì)量判斷呈現(xiàn)攻擊檢測融合層級應(yīng)具備的模塊，但可位丁移動設(shè)備端或者服務(wù)器應(yīng)具備的模塊可選模塊分數(shù)級融合決策級融合生物特征采集裝置特征級融合呈現(xiàn)攻擊檢測特征特征提取樣本采集特征移動設(shè)備圖1移動設(shè)備多模態(tài)識別技術(shù)架構(gòu)5業(yè)務(wù)流程5.1概述多模態(tài)識別的業(yè)務(wù)流程一般包括注冊過程、識別過程和注銷過程。多模態(tài)識別融合層級不同，業(yè)務(wù)流程也有所區(qū)別。下面各條款分別按照不同融合層級描述各典型的業(yè)務(wù)流程。5.2樣本級融合典型的樣本級融合注冊過程見圖2。質(zhì)量判斷質(zhì)量判斷早現(xiàn)攻擊檢測1存儲參考關(guān)聯(lián)標識質(zhì)量判斷呈現(xiàn)攻擊檢測n移動側(cè)設(shè)備采集樣本1移動設(shè)備側(cè)采集樣本n樣本數(shù)據(jù)融合特征項提取圖2樣本級融合注冊過程注冊過程通常包含如下階段：a)通過移動設(shè)備側(cè)同時采集或依次采集樣本1和樣本n(n≥2)(樣本如人臉圖像、指紋圖像等);b)分別對每個采集過程進行生物特征樣本質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；c)對采集到的樣本數(shù)據(jù)進行融合；4d)從融合后的樣本數(shù)據(jù)中提取生物特征項；e)將生物特征項存儲在特征存儲模塊中作為多模態(tài)生物特征參考，并與用戶身份標識關(guān)聯(lián)。典型的樣本級融合識別過程見圖3。參考參考質(zhì)量判斷早現(xiàn)攻擊檢測1特征比對分數(shù)決策輸出結(jié)果質(zhì)量判斷移動設(shè)備側(cè)采集樣本1移動設(shè)備側(cè)_采集樣本n樣本數(shù)據(jù)融合特征項提取圖3樣本級融合識別過程識別過程通常包含如下階段：a)移動設(shè)備側(cè)同時采集或依次采集樣本1、生物特征樣本n(n≥2),采集方式同注冊時的采集方式相對應(yīng)；b)分別對每個采集過程進行生物特征樣本質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；c)對采集到的樣本數(shù)據(jù)進行融合；d)從融合后的數(shù)據(jù)中提取生物特征項；e)將提取的生物特征項與存儲在特征存儲模塊中的一個或多個用多模態(tài)生物特征參考進行比f)根據(jù)比對分數(shù)進行識別決策并輸出識別結(jié)果。注銷過程通常包含如下階段：a)啟動注銷過程；b)在生物特征存儲模塊中刪除與待注銷用戶關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識別系統(tǒng)中刪除待注銷用戶的身份標識；c)結(jié)束注銷過程。5.3特征級融合典型的特征級融合注冊過程見圖4。質(zhì)量判斷質(zhì)量判斷呈現(xiàn)攻擊檢測1存儲參考關(guān)聯(lián)標識質(zhì)量判斷呈現(xiàn)攻擊檢測n移動設(shè)備側(cè)采集樣木1移動設(shè)備側(cè)采集樣木n特征項提取1特征項提取n特征融合圖4特征級融合注冊過程注冊過程通常包含如下階段：a)移動設(shè)備側(cè)同時采集或依次采集樣本1、生物特征樣本n(n≥2);b)分別對每個采集過程進行生物特征樣本質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；5c)分別針對每個采集的生物特征樣本提取生物特征項1、生物特征項n;d)對提取的生物特征項進行融合，形成多模態(tài)生物特征項；e)將多模態(tài)生物特征項存儲在特征存儲模塊中，作為多模態(tài)生物特征參考，并與用戶身份標識關(guān)聯(lián)。典型的特征級融合識別過程見圖5。參考參考質(zhì)量判斷特征比對質(zhì)量判斷移動設(shè)備側(cè)采集樣本1移動設(shè)備側(cè)采集樣本n特征項提取n特征項提取1輸出結(jié)果特征慰合決策圖5特征級融合識別過程識別過程通常包含如下階段：a)移動設(shè)備側(cè)同時采集或依次采集樣本n(n≥2),采集方式同注冊時的采集方式相對應(yīng)；b)對每個采集過程分別進行樣本質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；c)分別針對采集的生物特征樣本分別提取生物特征項1、生物特征項n;d)對提取的生物特征項進行融合，生成多模態(tài)生物特征項；e)將提取的多模態(tài)生物特征項與存儲在特征存儲模塊中的對應(yīng)的一個或多個參考進行特征比f)根據(jù)比對分數(shù)進行識別決策并輸出識別結(jié)果。注銷過程通常包含如下階段：a)啟動注銷過程；b)在生物特征存儲模塊中刪除與待注銷用戶關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識別系統(tǒng)中刪除待注銷用戶的身份標識；c)結(jié)束注銷過程。5.4分數(shù)級融合典型的分數(shù)級融合注冊過程見圖6。典型的分數(shù)級融合注冊過程見圖6。移動設(shè)備側(cè)采集樣本1移動設(shè)備側(cè)采集樣本n質(zhì)量判斷呈現(xiàn)攻出檢測1質(zhì)雖判斷早現(xiàn)攻山檢測n存儲參考關(guān)聯(lián)標識1存儲參考關(guān)聯(lián)標識z特征項提取1特征項提取n圖6分數(shù)級融合注冊過程注冊過程通常包含如下階段：a)分別移動設(shè)備側(cè)同時采集或依次采集樣本1和樣本n(n≥2);6b)分別對每個采集過程分別進行樣本質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；c)分別針對采集的生物特征樣本提取生物特征項；d)分別將該生物特征項存儲在存儲模塊中作為生物特征參考，并與用戶身份標識關(guān)聯(lián)。典型的分數(shù)級融合識別過程見圖7。參考1參考1特征比對1分數(shù)1分數(shù)融合特征比對n分數(shù)n參考n質(zhì)量判斷呈現(xiàn)攻擊檢測質(zhì)量判斷移動設(shè)備側(cè)采集樣本n特征項提取1特征項提取n輸出結(jié)果決策圖7分數(shù)級融合識別過程識別過程通常包含如下階段：a)移動設(shè)備側(cè)同時采集或依次采集樣本1和樣本n(n≥2),采集方式同注冊時的采集方式相對應(yīng)；b)對每個采集過程分別進行樣本質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；c)分別針對采集的生物特征樣本提取生物特征項；d)將提取的生物特征項與存儲在特征存儲模塊中對應(yīng)的一個或多個生物特征參考進行比對，分別生成比對分數(shù)；e)將n(n≥2)個比對分數(shù)進行融合，生成一個最終分數(shù)；f)將分數(shù)同閾值比較，進行識別決策并輸出識別結(jié)果。注銷過程通常包含如下階段：a)啟動注銷過程；b)在生物特征存儲模塊中刪除與待注銷用戶關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識別系統(tǒng)中刪除待注銷用戶的身份標識；c)結(jié)束注銷過程。5.5決策級融合典型的決策級融合注冊過程見圖8。7質(zhì)量判斷質(zhì)量判斷呈現(xiàn)攻擊檢測1質(zhì)量判斷呈現(xiàn)攻擊檢測n移動設(shè)各側(cè)采集樣木1移動設(shè)備側(cè)采集樣本n存儲參考關(guān)聯(lián)標識n關(guān)聯(lián)標識1特征項提取1特征項提取n圖8決策級融合注冊過程注冊過程通常包含如下階段：a)移動設(shè)備側(cè)同時采集或依次采集樣本1和樣本n(n≥2)(樣本如人臉圖像、指紋圖像等);b)分別對每個采集過程進行樣本質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；c)分別對采集的生物特征樣本分別提取生物特征項；d)將生物特征項存儲在特征存儲模塊中作為生物特征參考，并與身份標識關(guān)聯(lián)。典型的決策級融合識別過程見圖9。典型的決策級融合識別過程見圖9。參考1分數(shù)1輸出結(jié)果特征比對x分數(shù)n參考n質(zhì)量判斷質(zhì)量判斷集樣本1集樣本2特征項提取m特征項提取1決策融合決策1圖9決策級融合識別過程識別過程通常包含如下階段：a)移動設(shè)備側(cè)采集或依次采集樣本1和樣本n(n≥2),采集方式同注冊時的采集方式相對應(yīng)；b)分別對每個采集過程進行質(zhì)量判斷，并進行呈現(xiàn)攻擊檢測；c)對采集的生物特征樣本提取生物特征項；d)將提取的生物特征項與存儲在特征存儲模塊中對應(yīng)的一個或多個用戶生物特征參考進行比對，分別生成一個比對分數(shù)；e)將每個比對分數(shù)分別同相應(yīng)閾值比較，輸出n(n≥2)個識別結(jié)果；f)將n(n≥2)個識別結(jié)果進行融合(比如與、或),生成最終的識別決策結(jié)果并輸出。注銷過程通常包含如下階段：a)啟動注銷過程；b)在生物特征存儲模塊中刪除與待注銷關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識別系統(tǒng)中刪除待注銷用戶的身份標識；c)完成后結(jié)束注銷過程。86功能要求6.1總體要求應(yīng)符合GB/T37036.1—2018第6章的要求，包括但不限于：a)應(yīng)支持某種多模態(tài)融合，如樣本級融合、特征級融合、分數(shù)級融合或者決策級融合等；b)宜適用于不同膚色、不同年齡的用戶；c)多模態(tài)識別系統(tǒng)服務(wù)提供方宜支持對錯誤接受率和錯誤拒絕率等性能指標的設(shè)定；d)宜支持對登記時間、識別時間和呈現(xiàn)攻擊檢測準確率等性能指標進行設(shè)定。要求包括但不限于：a)應(yīng)支持新用戶登記、已登記用戶多模態(tài)模板更新、已登記用戶注銷等功能；b)應(yīng)支持用戶登記多模態(tài)模板到存儲模塊中；c)應(yīng)支持用戶刪除已登記在生物特征存儲模塊中的生物特征模板；d)應(yīng)具備異常情況處理能力，包括但不限于多模態(tài)樣本采集失敗、模板登記失敗、模板刪除失敗、特征比對失敗后的處理機制；e)宜支持用戶、多模態(tài)識別系統(tǒng)管理員用戶等不同用戶使用權(quán)限，在多模態(tài)融合識別中的采集、比對與存儲等模塊中分別具有相應(yīng)的權(quán)限管理機制。移動設(shè)備多模態(tài)識別應(yīng)具備日志管理功能，產(chǎn)生日志記錄的事件應(yīng)包括但不限于：a)登記過程中的成功或失敗事件；b)識別過程中的成功或失敗事件；c)注銷過程中的成功或失敗事件；d)多模態(tài)模板更新等。對于每一個事件，日志記錄宜包括事件發(fā)生時間、事件類型、用戶、事件執(zhí)行結(jié)果或失敗原因、日志有效時間等。6.2多模態(tài)特征采集模塊多模態(tài)特征采集模塊應(yīng)提供多模態(tài)特征數(shù)據(jù)采集與傳輸?shù)墓δ?。涉及某種具體生物特征模態(tài)時，其要求應(yīng)相應(yīng)地符合GB/T37036.2—2019、GB/T37036.3—2019、GB/T37036.4—2021、GB/T37036.5—2023、GB/T37036.6—2022的相關(guān)要求。6.3多模態(tài)特征存儲模塊多模態(tài)特征存儲模塊功能要求包括但不限于：a)應(yīng)