《公共安全應(yīng)用 視(音)頻智能識別算法評估和管理要求》征求意見稿

AssessmentandmanagementrequiremeI 4 4 4 4 6 6 6 6 6 8 8 8 8 8 9 9 9 9 9 9 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定4公共安全應(yīng)用視(音)頻智能識別算法評估和管理要求本標(biāo)準(zhǔn)規(guī)定了公共安全應(yīng)用領(lǐng)域視(音)頻智能識別算法評估、管凡是不注日期的引用文件，其最新版本（包括所有的修改單）GB/T41867-2022信息技GB/T41786-2022公共安全GB/T42888-2023信息安全技術(shù)機器學(xué)習(xí)算法安全評GB/Z42759-2023智慧城市人工智能技術(shù)應(yīng)用場景分T/CESA1021-2018人工智能深度學(xué)習(xí)算法GB/T41867-2022、GB/T41786-2022、GB/T42888-2023、T/CESA1021-2018界定的以及下列術(shù)語頻等）進(jìn)行自動分析，進(jìn)而獲得其中的物體對象或行為事件的描述和解釋的智能事件分析、步態(tài)預(yù)警、人證核驗、車牌識別、人群聚集檢測、語音識別等，不包括城市治理中人工智能技術(shù)的應(yīng)用場景中其他領(lǐng)域如智慧5二分類算法binaryclassification多分類算法multi-classclass對抗樣本adversarialexa灰盒方式生成的樣本：指目標(biāo)模型部分已知的情況下（如模型結(jié)構(gòu)信息已知但無法獲得模型參數(shù)），利用模型的查詢權(quán)限等方式來生成對黑盒方式生成的樣本：指目標(biāo)模型未知的情況下，利用一個替代模型進(jìn)行模型估計，針對替代模型使用白盒方式生成6對抗樣本攻擊electronicadversarialAUC：ROC曲線下方面積（AreaunderthCPU：中央處理器（centralprocessingFGSM：快速梯度下降法（FastGradientSignMQPS：每秒查詢率（Queries-per-sROC：受試者工作特征（ReceiverOperatTOPS：每秒萬億次操作（TeraOperationsPerS4評估和管理原則4.1基本原則報。同時，對于不同的應(yīng)用場景和需求，算法應(yīng)能夠進(jìn)行定制化優(yōu)化，以提高識別效果；對新型數(shù)據(jù)格式的支持以及對新應(yīng)用場景的適視(音)頻智能識別算法在公共安全應(yīng)用應(yīng)遵循不同分級原則，具體分級如a)A級：國家及地方的法律法規(guī)、標(biāo)準(zhǔn)規(guī)范或相關(guān)管理部門要求的公共安全非重點區(qū)域或中、低b)B級：國家及地方的法律法規(guī)、標(biāo)準(zhǔn)規(guī)范或相關(guān)管理部門要求的公共安全重點區(qū)域或高風(fēng)險場75.1算法評估環(huán)境注：按照算力大小可將硬件設(shè)備分為端側(cè)設(shè)備（設(shè)備算力＜5TOPS@INT8）、邊側(cè)設(shè)備（5TOPS@INT8≤設(shè)備算力≤40TOPS@INT8）、云側(cè)設(shè)備（設(shè)備算力＞40TOPS@I其他：根據(jù)具體的算法和應(yīng)用場景，如涉及其他硬件環(huán)境的，如專用加速器等，也需要注操作系統(tǒng)：應(yīng)注明算法運行的操作系統(tǒng)類型5.2算法性能1二分類算法應(yīng)通過算法精準(zhǔn)性的指標(biāo)評B級：AUC≥0.75；A級：AUC≥0.65。2多分類算法應(yīng)通過算法精準(zhǔn)性的指標(biāo)評1單條檢索響應(yīng)時間應(yīng)通B級：單條檢索≤1s；8A級：單條檢索≤2s。2單條檢索響應(yīng)時間應(yīng)通B級：單條檢索≤1s；A級：單條檢索≤2s。QPS應(yīng)通過指標(biāo)評估要求A級：QPS≥4。3單條檢索響應(yīng)時間應(yīng)通B級：單條檢索≤1s；A級：單條檢索≤2s。QPS應(yīng)通過指標(biāo)評估要求A級：QPS≥40。5.3抗攻擊能力評估1算法應(yīng)有效防范白盒方式生2算法應(yīng)有效防范灰盒方式生3算法應(yīng)有效防范黑盒方式生a)調(diào)度任務(wù)創(chuàng)建：支持根據(jù)不同場景建立相應(yīng)行為事件解析任務(wù)；b)執(zhí)行周期配置：支持選擇調(diào)度任務(wù)執(zhí)行周期配置，如：全天任務(wù)、定時任務(wù)、巡檢任務(wù)等；c)算法篩選及查看：支持通過調(diào)度任務(wù)名稱、算法名稱等多種方式檢索算法，支持基于關(guān)聯(lián)事9a)能力編排調(diào)度：支持通過編排配置和組件調(diào)度實現(xiàn)多種算法能力的組合編排，支持對同一待b)任務(wù)編排調(diào)度：支持對算法任務(wù)的編排調(diào)度管理，如：對算法任務(wù)的新增、修改、刪除、下發(fā)、啟停、查詢等。支持基于算法能力、加載點位、運行周期、應(yīng)用場景、任務(wù)優(yōu)先級等維c)策略編排調(diào)度：支持對算法的定義閾值、加載數(shù)量、算法級聯(lián)等進(jìn)行編排調(diào)度管理。a)算法調(diào)度管理：支持實時查看算法所支持b)算法查詢管理：支持提供算法的應(yīng)用參考信息，用戶可通過該信息查找算法；c)信息展示管理：支持包括算法事件列表展示、a)版本控制：支持對算法進(jìn)行版本控制，記錄每次修改的內(nèi)容和原因，便于追蹤和回滾；b)定期維護(hù)：支持定期對算法進(jìn)行維護(hù)和更新，以適應(yīng)新技術(shù)和新場景的需求；支持算法狀態(tài)a)告警策略管理：支持對不同場景配置個性化算法告警，支持對告警閾值及優(yōu)先級進(jìn)行定義及b)告警推送管理：支持將不同算法、不同告警任務(wù)產(chǎn)生的結(jié)果事件按指定格式進(jìn)行推送，支持c)算法接入管理：支持對接入的算法、廠家、版本、能力、接口等信息的管理。應(yīng)具備兼容多個廠家多種算法的能力，支持對接多個廠家多種算法的接口，支持算法的注冊、算法維護(hù)以d)算法分類管理：支持基于算法所匹配的具體業(yè)務(wù)場景或者算法的技術(shù)屬性的分類管理，算法管理應(yīng)支持查看算法屬性、算法名稱、算法與算力適配情e)模型管理：支持模型選擇，支持對模型庫、指標(biāo)庫的配置并支持模型版本可回溯。b)支持對底層多種類型的資源提供工作負(fù)載管理、鏡像管理、服務(wù)管理、密鑰配置管理等。c)支持對接入的新增、擴容及第三方算力設(shè)備的審核管理。當(dāng)注冊的算力需要符合按照算力接入標(biāo)準(zhǔn)提供算力的參數(shù)信息及應(yīng)用信息時，允許相關(guān)算力正式接入。算力接入管理包括但不e)支持算力類型定義和維護(hù)，例如：中心算力、邊緣算力、物理算力、云端算力等，應(yīng)支持將f)支持不同的算力按照統(tǒng)一的基本算力單元和格式進(jìn)行注冊，并支持按照基本算力單元進(jìn)行算a)算法管理展示：支持匯總展示已接入的算法總數(shù)、算法調(diào)用次數(shù)、算法識別準(zhǔn)確率等基礎(chǔ)信息；支持以算法模型庫的方式，對算法進(jìn)行模塊化管理；支持提供多種視圖展示模式，包括b)算力管理展示：支持算力涉及到的數(shù)據(jù)流加載規(guī)模、集群規(guī)模、有效利用率等基礎(chǔ)信息，以及算力資源池的地理位置和所屬的算力屬性等信息的綜合分析和展示。支持以可視化統(tǒng)計方式，分析和展示算力資源的使用情況，支持統(tǒng)計分析各算力群累計加載的視頻路數(shù)，支持分c)效能管理展示：支持綜合呈現(xiàn)算力以及算法在不同應(yīng)用a)保障系統(tǒng)與其它相關(guān)系統(tǒng)的接口的安全性；c)保證接口數(shù)據(jù)在系統(tǒng)與其它接口系統(tǒng)的一致性；d)在接口數(shù)據(jù)交互過程中，應(yīng)具有數(shù)據(jù)發(fā)送和接收傳送后的確認(rèn)過程；f)具備接口數(shù)據(jù)的容錯和錯誤處理機制。開發(fā)者應(yīng)提供算法安全功能的安全架構(gòu)描述，安全架構(gòu)描述應(yīng)滿足以b)描述與安全功能要求一致的算法安全功能的安全域；開發(fā)者應(yīng)提供完備的安全功能規(guī)范說明，功能規(guī)范說明應(yīng)滿足以b)描述所有安全功能接口的目的與使用方法；g)描述安全功能實施過程中,與安全功能接口a)部署環(huán)境管理：應(yīng)確保算法部署環(huán)境的穩(wěn)定性和安全性，包括硬件資源、網(wǎng)絡(luò)環(huán)境等；c)算法監(jiān)控：支持對算法運行過程進(jìn)行實時監(jiān)控，根據(jù)性能數(shù)據(jù)進(jìn)行調(diào)優(yōu)，確保算法的高效運行；支持監(jiān)控模型運行的狀態(tài)、硬件資源耗用情況、異常報警情況、特征變量的波動情況、b)身份鑒別：支持啟用口令復(fù)雜度、據(jù)加密數(shù)據(jù)加密、差分隱私等，對人臉等生物特征識別數(shù)據(jù)的傳輸進(jìn)行保護(hù)，確保個人數(shù)據(jù)的安b)支持對輸入數(shù)據(jù)進(jìn)行去噪處理，破壞惡意添加在真實樣本上的對抗噪聲； 正負(fù) 正負(fù)注：1.真正例(TruePositive，TP)為被預(yù)測為正ranki——第i條樣本的序號（概率得分從小到大排列，排在第rank個位置MNA.2.1實例：語音識別算法性能測試1.構(gòu)建說話人語音探測集，包含不少于100000條不同人語音，有效語音累積時長不2.構(gòu)建目標(biāo)人語音測試集，包含不少于500條不同身份目標(biāo)語音，同一目標(biāo)人在語音探3.將目標(biāo)集中語音與探測集進(jìn)行語音識別根據(jù)A級和B級的閾值1.準(zhǔn)備不少于100萬條測試語音數(shù)據(jù)構(gòu)建語3.重復(fù)10次，取10次結(jié)果的算術(shù)平均值作為根據(jù)A級和B級的閾值需求制定了電子對抗樣本攻擊最低容忍成功Conversion，VC）和錄音重放（Replay）等語音對抗樣本生成算法生成不少于100條對根據(jù)A級和B級的判定A.2.2實例：人臉辨識算法性能測試2.構(gòu)建目標(biāo)人臉測試集，包含不少于100條人臉探測集中的人臉圖片/視頻數(shù)量為1條~~識試驗，利用多分類算法精準(zhǔn)性指標(biāo)進(jìn)行評根據(jù)A級和B級的閾值1.準(zhǔn)備不少于10萬人臉圖片/視頻構(gòu)建人臉2.進(jìn)行單次人臉檢索試驗，從檢索確認(rèn)開始3.重復(fù)10次，取10次結(jié)果的算術(shù)平均值作為根據(jù)A級和B級的閾值需求制定了電子對抗樣本攻擊最低容忍成功JSAM等人臉識別對抗樣本生成算法生成不少于100條對抗樣本組成測試數(shù)據(jù)集進(jìn)行攻擊根據(jù)A級和B級的判定A.2.3實例：人臉驗證算法