身份認證技術 課件 第4-6章 用戶是什么、人機區(qū)分、身份認證中對抗性攻擊和防御

第四章用戶是什么現代生物識別技術目錄CONTENTS04聲音識別05掌紋識別06未來發(fā)展與挑戰(zhàn)01人臉識別02指紋識別03虹膜識別00引言現代生物識別技術我們生活在一個高度信息化的社會，越來越多的人意識到信息保護的重要性。隨著技術的發(fā)展，傳統(tǒng)的身份驗證方法，如數字密碼、字符密碼，甚至數字和字符的組合，已經逐漸無法滿足用戶對隱私保護的要求。信息保護的重要性相對于傳統(tǒng)身份驗證方法，生物識別技術提供了一種更為可靠且方便的解決方案。每個人的生物特征都是獨一無二的，包括指紋、虹膜、面部結構等，這些都不容易被復制或模仿。生物識別技術的優(yōu)勢生物識別技術已經被廣泛應用于金融、電子商務、網絡安全、門禁安全等領域，顯示出其跨行業(yè)的適應性和實用性應用范圍的廣泛性00現代生物識別技術00生物識別技術概覽生物識別技術是一種利用人的生物學特征進行身份認證的技術。它基于每個人獨有的生理或行為特征，如指紋、虹膜、人臉、聲音等，提供一種安全、便捷的身份驗證方式。定義隨著數字化時代的到來，傳統(tǒng)的身份驗證方法（如密碼和PIN碼）由于安全性和便利性問題逐漸顯示出局限性。生物識別技術提供了一種固有的、難以偽造的身份驗證手段，極大地增強了個人和企業(yè)的數據安全。重要性技術分類人臉識別利用個體面部的結構特征進行識別。常見于公安識別、手機解鎖及自動邊檢應用。指紋識別分析手指上的紋理圖案，是最早被商用的生物識別技術。廣泛用于門禁系統(tǒng)、手機安全及銀行認證。虹膜識別通過分析眼睛虹膜的復雜圖案進行身份驗證。由于其高準確性，常用于高安全場所的身份認證。聲音識別基于語音的特點進行個體識別，常用于電話銀行服務和智能助理。掌紋識別使用手掌的紋理和脈絡圖案進行識別。相較于其他生物特征，掌紋提供了更多的特征區(qū)域，用于增加識別的準確性。01人臉識別01人臉識別技術人臉識別是一種基于個體面部特征來進行身份驗證的生物識別技術。它通過分析面部結構的關鍵點，如眼睛、鼻子、嘴巴以及臉型等，識別個人身份?；靖拍钊四樧R別技術廣泛應用于安全驗證系統(tǒng)、公安系統(tǒng)、移動設備安全、銀行安全驗證等領域。它也被用于監(jiān)控系統(tǒng)以提升公共安全，如機場、購物中心和重要基礎設施的監(jiān)控系統(tǒng)。應用背景

(a)門禁身份認證(b)面容支付01人臉識別技術-技術原理

人臉檢測與預處理特征提取特征匹配與識別系統(tǒng)需要檢測出圖像中的人臉，通常是通過人臉的顏色和特定結構特征來實現。之后，將檢測到的人臉進行預處理，包括調整圖像尺寸和方向，確保后續(xù)處理的一致性。提取的特征數據將與數據庫中預存的面部數據進行比對。匹配過程通常涉及復雜的算法，以確保識別的準確性和效率。系統(tǒng)將提取面部的關鍵特征點，這些特征點包括但不限于眼睛、鼻子、嘴巴的位置，以及臉的輪廓。這些特征點將轉化為數據，以便進行進一步的分析。01人臉識別技術-挑戰(zhàn)與解決方案人臉識別技術面臨的主要挑戰(zhàn)包括光線變化、面部遮擋（如戴眼鏡或口罩）、表情變化等因素的影響。挑戰(zhàn)人臉識別技術廣泛應用于安全驗證系統(tǒng)、公安系統(tǒng)、移動設備安全、銀行安全驗證等領域。它也被用于監(jiān)控系統(tǒng)以提升公共安全，如機場、購物中心和重要基礎設施的監(jiān)控系統(tǒng)。解決方案02指紋識別02指紋識別技術指紋識別是一種通過分析個人手指上的紋理圖案進行身份驗證的生物識別技術。它依據的是指紋中的脊線、分叉點和終止點等微小特征，這些特征在每個人身上都是獨一無二的?；靖拍钪讣y識別技術被廣泛用于門禁控制、身份驗證、移動支付和法律執(zhí)法等領域。它的便捷性和高安全性使其成為最普遍應用的生物識別技術之一。應用背景

(a)電腦指紋解鎖

(b)手機指紋解鎖

(c)指紋打卡02指紋識別技術

-技術原理

指紋采集特征提取特征匹配與識別通過指紋掃描器或傳感器捕獲指紋圖像。這些設備利用光學、電容或超聲波技術來捕捉指紋的高分辨率圖像。提取的特征將與數據庫中存儲的指紋模板進行匹配。通過算法計算兩者之間的相似度，從而驗證用戶的身份。從采集到的指紋圖像中提取特征點，主要關注脊線的流向、分叉點和終止點等關鍵特征。02指紋識別技術-挑戰(zhàn)與解決方案指紋識別可能受到手指表面的干凈度、損傷或磨損以及環(huán)境因素（如濕度和污漬）的影響。挑戰(zhàn)開發(fā)更先進的傳感器技術，如多光譜成像和增強的圖像處理算法，以提高在不理想條件下的識別準確性。解決方案03虹膜識別03虹膜識別技術虹膜識別是一種利用眼睛虹膜中獨特圖案進行身份驗證的生物識別技術。虹膜具有復雜的紋理，這些紋理即使在同卵雙胞胎中也是獨特的，且從出生到死亡過程中保持不變?；靖拍詈缒ぷR別技術因其極高的識別準確率和難以偽造的特性，被廣泛應用于高安全級別的身份驗證場合，如機場邊檢、國防安全和重要設施的訪問控制。應用背景

(a)入境管理身份認證

(b)政府機構身份認證03虹膜識別技術

-技術原理

虹膜捕獲特征提取特征匹配與識別使用專門的攝像設備，在一定距離內通過紅外光照射捕獲眼睛的虹膜圖像。紅外光有助于突出虹膜的細節(jié)紋理，即使在光線較暗的環(huán)境中也能獲得高質量的圖像。將提取的虹膜特征與數據庫中預先存儲的虹膜模板進行比對。匹配算法評估兩者之間的相似度，若足夠高，則確認身份匹配。從捕獲的虹膜圖像中提取特征，包括各種環(huán)、褶皺和紋理點。這些特征將轉換成數字代碼，形成虹膜模板。03虹膜識別技術-挑戰(zhàn)與解決方案用戶需要直視攝像頭，可能導致操作上的不便。此外，眼鏡、隱形眼鏡或眼部疾病也可能影響圖像質量和識別效果。挑戰(zhàn)采用更先進的成像技術和圖像處理算法，以提高系統(tǒng)對上述問題的魯棒性。增加系統(tǒng)的用戶指導，確保正確捕獲虹膜圖像。解決方案(a)近紅外虹膜圖像

(b)可見光虹膜圖像04聲音識別04聲音識別技術聲音識別技術基于分析個體的聲音特征進行身份驗證，主要利用語音的音調、節(jié)奏、音色和發(fā)音等特點。每個人的聲音具有獨特的生理和行為特征，這些可以用于明確個人身份?；靖拍盥曇糇R別技術常用于電話銀行系統(tǒng)、智能家居控制、虛擬助理和安全門禁系統(tǒng)等。由于其非接觸式和遠程操作的特點，聲音識別為用戶提供了極大的便利。應用背景基于HMM的聲學模型結構圖04聲音識別技術

-技術原理

聲音采集特征提取特征匹配與識別使用麥克風設備捕獲語音樣本。在環(huán)境噪音可控的情況下，盡可能清晰地記錄下說話者的聲音。將提取的聲學特征與數據庫中存儲的聲紋模板進行比對。通過各種聲紋匹配算法計算相似度，以驗證說話者的身份。從捕獲的語音中提取有區(qū)別性的聲學特征，如基頻、共振峰和語速等。這些特征被轉換成數值形式，以便進行后續(xù)處理。05掌紋識別05掌紋識別技術掌紋識別技術是通過分析手掌的紋理圖案、線條和脊線來識別個體身份的一種生物識別方法。掌紋包括掌紋紋理、主線、皺紋和脊線等，具有高度的復雜性和個體差異性?；靖拍钫萍y識別由于其穩(wěn)定性和獨特性，被用于高安全需求的場景，如銀行安全系統(tǒng)、企業(yè)門禁控制以及高安全級別的身份驗證系統(tǒng)。應用背景

(c)掌紋支付

(d)掌紋解鎖(a)掌紋打卡

(b)掌紋采集05掌紋識別技術

-技術原理

掌紋采集特征提取特征匹配與識別使用高分辨率的掃描器或相機捕獲掌紋圖像。這些設備能夠詳細捕捉掌紋上的每一個細節(jié)，包括脊線和細小的皺紋。提取的掌紋特征與數據庫中的模板進行比對。通過特定的算法計算匹配度，確認個體的身份。從捕獲的掌紋圖像中提取關鍵特征，包括線條的方向、間隔和唯一的皺紋模式。這些特征被轉換為數字形式，用于進一步的分析和匹配。05掌紋識別技術-挑戰(zhàn)與解決方案用戶需要直視攝像頭，可能導致操作上的不便。此外，眼鏡、隱形眼鏡或眼部疾病也可能影響圖像質量和識別效果。挑戰(zhàn)采用更先進的成像技術和圖像處理算法，以提高系統(tǒng)對上述問題的魯棒性。增加系統(tǒng)的用戶指導，確保正確捕獲虹膜圖像。解決方案06未來發(fā)展與挑戰(zhàn)06未來發(fā)展與挑戰(zhàn)-未來發(fā)展趨勢未來的生物識別技術將趨向于集成多種識別方式，如結合虹膜、指紋和面部識別技術，提高系統(tǒng)的整體安全性和準確性。多模態(tài)生物識別系統(tǒng)能更有效地應對復雜場景和高安全需求。集成與多模態(tài)生物識別系統(tǒng)利用人工智能和機器學習技術提升生物識別系統(tǒng)的自學習和自適應能力，能夠更準確地識別和預測個體的生物特征，以及更好地應對偽造和欺詐行為。人工智能和機器學習的應用生物識別技術將更加便攜化，并無縫集成到日常設備和應用中，如智能手機、穿戴設備和家庭安全系統(tǒng)，為用戶提供更加便捷和無縫的使用體驗。便攜化和無縫集成06未來發(fā)展與挑戰(zhàn)-主要挑戰(zhàn)隨著生物識別技術的普及，如何保護個人的生物識別數據不被濫用成為一個重大挑戰(zhàn)。需制定更嚴格的隱私保護措施和法律法規(guī)，確保數據安全和個人隱私。隱私與數據保護提高生物識別系統(tǒng)的抗欺騙能力，特別是在面對高級偽造技術時，如3D面具、仿真指紋等。開發(fā)更先進的檢測算法，以識別和防范這些欺詐手段?？蛊垓_技術的提升雖然生物識別技術提供了高效的安全保障，但其普及還需解決用戶對技術侵入性的擔憂，特別是在涉及敏感身份信息的場景中。用戶接受度與技術普及第五章人機區(qū)分目錄CONTENTS01人機交互02驗證碼03短信驗證碼01人機交互1人機交互人機交互起源于計算機智能化的飛速發(fā)展，從人工智能到圖靈測試，再到人機交互證明，都是人機交互的重要關聯知識。研究使計算機模擬人的某些思維過程和智能行為的學科。具有模仿人類行為的各種計算方式，可以定義為智能。分為弱人工智能和強人工智能。人工智能由計算機科學和密碼學的先驅AlanTuring提出，目的是評估機器的智能水平與人類的智能水平有多接近。利用人和機器的差異性來測試機器是否具備人類智能。測試者通過被測試的人和機器對于所提問題的各種反應來判斷是人還是機器。圖靈測試圖靈測試示意圖02驗證碼2驗證碼驗證碼，英文名稱為CAPTCHA（CompletelyAutomatedPublicTuringtesttotellComputersandHumansApart，全自動區(qū)分計算機和人類的圖靈測試），即用來區(qū)分機器和人類的全自動公共圖靈測試。驗證碼身份認證流程安全性：安全性代表實用驗證碼保護網站免受任何未經授權訪問的方式，包括使用復雜的編程元素，使得驗證碼更加安全，即驗證碼應該以計算機幾乎無法解決的方式進行設計編程?？捎眯裕嚎捎眯允菍τ脩艚鉀Q驗證碼難易程度的描述，它與人類用戶如何找到驗證碼難題的正確解決方案緊密相連。實用性：實用性代表了驗證碼編程實現的方式，需要保證用戶可以在計算機、平板電腦或者是智能移動手機上任何網絡瀏覽器都能夠輕松解讀驗證碼。2.1驗證碼特性2.1驗證碼特性在設計驗證碼時需要全面分析考慮驗證碼可用性和安全性的平衡：注意統(tǒng)計實驗的用戶數量足夠，統(tǒng)計應該具有普遍性；追求安全性的同時，充分考慮到各種驗證碼方案形式，以盡可能改善用戶體驗。2.1驗證碼特性2.2驗證碼分類文本驗證碼圖像驗證碼語音驗證碼游戲驗證碼行為驗證碼其他驗證碼基于英文文本的2D驗證碼加入字符扭曲，重疊，殘缺等機制；加入干擾背景，干擾線，字符字體及顏色變換等安全機制?；谥形淖址?D驗證碼中文驗證碼與英文驗證碼類似，往往加入干擾背景，字符扭曲，字體變換等措施以提高其安全性。文本驗證碼基于人類對文本字符的識別能力設計新浪微博PayPal百度it168點選驗證碼部署在中文網站上的點選驗證碼通常要求用戶按順序點擊圖片中的中文字符。3D文本驗證碼基于人類可輕松識別3D物體，而計算機對3D物體的識別存在局限性這一事實設計。文本驗證碼基于人類對文本字符的識別能力設計ClickableCAPTCHAQQ安全中心小盾DotCHA文本驗證碼1.基本邏輯簡單，生成成本較低；2.從可用性角度來看，文本驗證碼依賴人類的視覺能力和對字符的識別能力，即使加入字符扭曲，干擾等安全機制，真實用戶依然可以快速、準確的識別字符，通過測試所需步驟和時間較少，用戶可用性較高；3.沒有額外的記憶內容和較高的硬件要求，資源需求量小，是最易廣泛部署的驗證碼類型。優(yōu)勢1.即使添加了各種安全機制，總體來說易受到OCR及機器學習的攻擊，安全性較差；2.無法滿足所有人群需求，如不適合有視力障礙的人群。缺陷向用戶提供多張候選圖片及一段提示語句，要求用戶按照提示語句選擇符合要求的圖片。完成此類驗證碼主要依賴人類的物體分類能力，即快速判斷圖像中物體所屬類別。基于物體分類物體分類給出一張圖片，要求用戶捕捉該圖片中細節(jié)內容，并根據提示點擊圖像對應位置，此類驗證碼主要依賴人類對圖像細節(jié)的感知能力?；诩毠?jié)感知細節(jié)感知在一張驗證碼圖片中展示多個顏色、形狀、大小均不相同的物體，用戶需要根據提示在所有物體中選出符合描述的物體，提示中可能包含物體個體屬性和物體間抽象關系?；谝曈X推理視覺推理按表現形式可分為圖片驗證碼和視頻驗證碼兩種，其中視頻驗證碼通?；谌祟悓D像內容的語義提取能力實現?；谡Z義提取語義提取圖像驗證碼基于人類對圖像的感知及處理能力基于物體分類的圖像驗證碼AsirraGooglereCAPTCHAFR-CAPTCHATICS

要求用戶選擇與示例圖片和描述相同類別的圖像要求用戶根據提示選擇相應圖像

要求用戶選擇出現兩次的人臉圖像，所有圖像添加了噪音干擾要求用戶根據描述點擊對應圖像，全部圖像均為合成圖像基于細節(jié)感知的圖像驗證碼ImplicitCAPTCHASACaptcha網易

要求用戶根據提示點擊圖片中對應位置要求用戶點擊提示對應的形狀區(qū)域，圖片中存在變色區(qū)域塊要求用戶根據提示按序點擊前景圖像，前景圖像顏色有區(qū)別基于視覺推理的圖像驗證碼騰訊頂象網易

要求用戶根據提示點擊對應物體要求用戶根據提示點擊對應物體，存在2D與3D圖形要求用戶根據提示點擊對應物體，答案物體多為字母或數字基于語義提取的圖像驗證碼MotionCAPTCHAKluever’sCAPTCHAAdvertisementCAPTCHA

要求用戶選擇可以描述視頻中人物運動的選項要求用戶觀看視頻，并提供三個最能描述視頻的詞匯要求用戶觀看廣告視頻并選擇廣告描述的產品語音驗證碼基于人類產生或識別語音的能力；要求用戶識別包含有背景噪音的音頻內容，或根據提示產生可用于驗證的音頻。聲學驗證碼基于人類檢測和識別聲音事件的能力音頻驗證碼向用戶提供一段音頻，要求用戶識別音頻中的內容并根據規(guī)定指令完成測試reCAPTCHA語音驗證碼Non-speechAudioCAPTCHAHIPUU音頻驗證碼對視障人士友好；以人類聽覺為出發(fā)點設計，用戶可用性較好；通過驗證碼所需時間和資源成本較?。粚τ谟嬎銠C來說識別由噪音干擾的音頻存在困難，而對于人類可輕松排除噪音干擾。優(yōu)勢大多數語音驗證碼以英語為基礎語言開發(fā)，對理解英語困難的用戶并不友好；聽覺具有一定主觀性，相似的聲音和字母發(fā)音容易混淆用戶，導致真人用戶在音頻驗證碼上通過率也可能較低；當下計算機聽覺技術的發(fā)展可在一定程度上模擬人類聽覺能力，計算機在音頻驗證碼上能以一定概率通過測試，并且隨著技術的發(fā)展，噪音干擾也無法抵抗計算機對音頻的準確識別。缺陷游戲驗證碼游戲驗證碼讓用戶完成指定小游戲來實現驗證過程，試圖讓解決驗證碼的任務變得有趣。與傳統(tǒng)圖像驗證碼不同之處在于，游戲驗證碼不僅要求用戶的圖像處理能力，同時需要一定常識和行為動作能力，可以被視作圖像驗證碼的升級挑戰(zhàn)。游戲驗證碼1）趣味性強，對用戶來說體驗更好；2）人類可輕松理解游戲規(guī)則并完成，對計算機來說破解成本較高，因此游戲驗證碼整體安全性較高；3）形式多樣，很難產生通用性攻擊方法。優(yōu)勢1）設計步驟較復雜，生成代價大，難以廣泛部署；2）資源需求量大，具有較高的環(huán)境要求以加載游戲；3）相較于傳統(tǒng)驗證碼，用戶通過游戲驗證碼所需時間更長。缺陷滑動驗證碼要求用戶通過鼠標滑動滑塊，以控制圖塊位置或圖形旋轉角度，最終完成圖塊復原或將圖形旋轉至指定角度?；诨瑒踊瑒域炞C碼拼圖驗證碼要求用戶通過拖放來交換圖塊位置或組合圖塊，最終形成完整圖像?；谄磮D拼圖驗證碼計算機在繪制圖案時遵循一定幾何原則，而真人用戶的鼠標軌跡往往速度不定且充滿抖動等不定因素，拖拽驗證碼便是通過監(jiān)測用戶鼠標軌跡的方式區(qū)分真人用戶和自動程序?；谕献献炞C碼行為驗證碼依據用戶解決圖像問題和根據指令完成規(guī)定動作的能力設計，通常向用戶提供驗證碼圖像和行為指令，用戶需要根據行為指令在驗證碼上進行規(guī)定動作以完成驗證。騰訊數美百度頂象

滑動控制圖形碎片的滑塊完成拼圖除圖形碎片對應的缺口外，圖片中還存在干擾缺口滑動滑塊直至將圖片旋轉至正向滑動滑塊直至將中心圖案還原至與背景契合的正確方向滑動驗證碼網易Gao’sCAPTCHACapyCAPTCHAHamid’sCAPTCHA

交換兩個圖片碎片，使圖片復原交換圖塊復原圖像，圖塊邊緣進行了添加噪聲處理

將下方展示的拼圖拖動至圖片缺省處，復原圖像將左側四個圖塊復原成右側展示圖像拼圖驗證碼拖拽驗證碼VAPTCHAMotionCAPTCHA

觀察圖片中給出的軌跡，拖拽鼠標繪制相同軌跡拖拽鼠標繪制圖中給出的圖形行為驗證碼行為驗證碼不僅依賴用戶對圖像的感知和處理能力，并且依靠用戶使用鼠標產生的行為動作對用戶身份進行驗證，相較于圖像驗證碼而言，行為驗證碼具有更高的安全性；此外，行為驗證碼基于人的行為產生，不需要用戶具備額外知識，覆蓋人群更廣，易用性較好。優(yōu)勢行為驗證碼以圖像為媒介，某些行為驗證碼對視力障礙人群并不友好；并且，為了通過行為驗證碼，用戶需要使用鼠標完成動作，而部分驗證碼為提高安全性設計出較為復雜的行為指令，需要用戶花費更多時間通過驗證碼；最后，行為驗證碼不僅需要提供圖像資源，同時需要分析用戶行為結果以進行身份判定，這一過程要求更高的成本，因此較傳統(tǒng)驗證碼，行為驗證碼部署更加復雜。缺陷無感知驗證reCAPTCHA需要用戶點擊“進行人機身份驗證”或“我不是機器人”的復選框，后臺系統(tǒng)會自動收集與用戶行為相關的信息，如鼠標移動、點擊位置、在復選框上停留時間等，并根據這些信息對用戶身份進行判定。其他驗證碼(a)NoCAPTCHAreCAPTCHA(b)InvisiblereCAPTCHA對抗驗證碼為了解決傳統(tǒng)驗證碼易被機器學習攻擊的問題，對抗驗證碼應運而生；2017年，Osadchy等人首次將對抗樣本應用于驗證碼設計，提出一種基于物體分類的對抗圖像驗證碼——DeepCAPTCHA。其他驗證碼DeepCAPTCHA對抗樣本2.3驗證碼安全性作為一種網絡系統(tǒng)安全保護機制，驗證碼本身具有與生俱來的安全屬性，與其他網絡安全機制一樣面臨被攻擊的安全風險，并需要對如何有效防御的問題進行研究。文本驗證碼安全性1)多步攻擊針對文本驗證碼自動破解的實際任務是識別圖像中的文字內容，由于早期的光學字符識別技術難以同時應對多個字符識別，早期的文本驗證碼破解，主要包含三個步驟。文本驗證碼分步破解流程2)端到端攻擊分步破解方法雖然能夠成功破解文本驗證碼，但是其步驟相對繁瑣，且每一步的結果會直接影響下一步的效果，導致最終整體的破解成功率非常不穩(wěn)定。能否對單張驗證碼所有文本進行一次性端到端識別，成為了新的討論焦點。RNN和注意力機制的提出，解決了這個問題。傳統(tǒng)的CNN雖然無法對多個字符同步識別，但是引入長短期記憶LSTM、RNN之后的深度神經網絡，能夠對字符序列進行時序處理，從而達到完整識別的目的。文本驗證碼安全性①

CRNN將卷積神經網絡（CNN）和循環(huán)神經網絡（RNN）相結合，首先使用卷積神經網絡進行驗證碼圖像的特征提取工作，其次使用循環(huán)神經網絡的不同存儲單元連接文本序列，計算每個字符的權重。文本驗證碼安全性CRNN考慮到自然場景下文本形式變化、光照、遮擋等因素；不需要人工對字符進行逐個標注，可以以序列標注的方式進行訓練，大大降低了工作量；使用雙向LSTM循環(huán)網絡進行時序訓練，并引入CTC損失函數來實現端到端變長序列數據處理，是當前文本識別領域最優(yōu)模型之一。②

注意力機制賴于循環(huán)神經網絡在特征序列上產生注意力向量，然后按順序對每個字符進行分類，以實現特征提取到分類的一步操作。隨著圖像分辨率升高，神經網絡處理圖像分類任務時計算量成線性增長，借鑒人類處理圖像時利用直覺注意力把握重點信息的思路，深度學習中提出提取關鍵信息，聯合構建整體信息的Attention機制。文本驗證碼安全性Attention機制應用于文本驗證碼一步破解③MaskR-CNN結合實例分割的深度對象檢測網絡也可以處理基于文本的驗證碼破解工作，如FasterRCNN網絡。該方法從檢測網絡輸出的物體邊界框和分類標簽學習物體定位和分類，測試時即可完成字符定位到分類的一步實現。增加了用于提高分類精度的Mask分支，根據分類得到的物體種類選擇Mask產生二值掩模，最終分類取決于掩模預測。這樣避免了類間競爭，達到了比其他目標檢測網絡更高的精確度。文本驗證碼安全性使用MaskR-CNN端到端破解文本驗證碼④

遷移學習基于深度學習的方法雖然高效，但是由于深度識別模型需要大量樣本集來完成訓練，而在現實情況中，受到網頁多方限制，收集真實樣本并非易事，且對收集到的數據進行標簽標注也需要耗費人力成本。如何解決模型對樣本的需求從而真正提高破解效率成為了新的破解瓶頸。遷移學習的應用有效解決了這個難題。文本驗證碼安全性基于遷移學習的文本驗證碼破解圖像驗證碼安全性1）針對基于物體分類的圖像驗證碼破解基于物體分類的圖像驗證碼通常向用戶給出一系列圖像，要求用根據提示選出包含對應物體的圖像以通過測試。實現這類驗證碼的破解面臨三個問題：驗證碼提示語句和圖像標簽都難以直接運用到監(jiān)督學習中；沒有預訓練的深度卷積神經網絡可用于提示語句和圖像的識別；需要實現高效、實時的驗證碼破解。12306圖像驗證碼破解流程圖像驗證碼安全性2）針對基于細節(jié)感知的圖像驗證碼破解基于細節(jié)感知的驗證碼通常包含復雜的背景圖像，需要用戶根據提示仔細觀察圖像并提取細節(jié)信息，最終確定答案在圖像中的位置以通過測試。為了通過測試，用戶需要根據提示按順序點擊驗證碼圖像中的小圖標以通過測試。針對此類驗證碼的破解可以分為兩個階段：預處理和求解。二階段破解基于點擊的細節(jié)感知圖像驗證碼基于點擊的細節(jié)感知圖像驗證碼圖像驗證碼安全性3）針對基于視覺推理的圖像驗證碼破解基于視覺推理的驗證碼可以使用模塊化和端到端方法破解。模塊化方法分別從驗證碼提示語句和驗證碼圖像出發(fā)，分為語義解析、物體檢測、物體分類、整合四個模塊。語義解析模塊負責推理完成任務所需的推理步驟，檢測和分類模塊定位前景對象并提取每個對象的顏色、形狀、大小、位置等信息，集成模塊參考語義解析模塊得到的推理過程綜合所有對象屬性得到最終預測答案。針對視覺推理驗證碼的模塊化攻擊針對視覺推理驗證碼的端到端攻擊圖像驗證碼安全性4）針對基于語義提取的圖像驗證碼破解基于語義提取的圖像驗證碼依靠人類對視頻的處理理解能力設計。2019年提出一種多模態(tài)語義注意網絡（MSAN），使用編碼-解碼器框架可實現對視頻的語義提取。視頻語義提取音頻驗證碼安全性自動語音識別是一種允許機器識別人類語音語義的技術，當前各個平臺都有大量的自動語音識別（ASR）系統(tǒng)。典型傳統(tǒng)的自動語音識別系統(tǒng)主要包含基于預訓練的模型的特征提取和解碼兩個部分。自動語音識別自動語音識別系統(tǒng)的體系結構語音驗證碼破解流程攻擊主要包括三個部分：第一個部分負責瀏覽器自動化，處理所有與瀏覽器相關的操作，包括爬取網頁，提取音頻驗證碼，下載音頻等操作，并且避免被驗證碼服務當中的機器人檢測到；第二個部分是將音頻記錄傳遞到語音識別服務進行的一系列必要的預處理和配置操作；第三個部分是進行音頻轉錄后的文本的后處理，準備將轉錄文本提交給語音驗證碼服務。其他驗證碼安全性兩階段破解方法適用于大多數行為驗證碼破解：預處理進行定位；模擬用戶行為完成測試。行為驗證碼兩階段破解行為驗證碼利用人類的推理能力和解決問題能力來構建安全屏障以區(qū)分人機；對問題中的語義進行解析后再對視覺內容部分進行檢測識別，結合人類行為模擬操作也可實現自動完成。游戲驗證碼游戲驗證碼破解分析文本驗證碼和圖像驗證碼經過多年的探索和驗證，符合多重要求，也具有最多的理論研究和實踐經驗支撐、十分成熟的人機認證機制。但是目前的文本和圖像驗證碼，均面臨深度學習自動攻擊的嚴峻挑戰(zhàn)，如何尋找新的技術和其相融合從而抵抗現有深度學習技術的攻擊，是文本和圖像驗證碼未來發(fā)展的重要方向。對于語音驗證碼，由于其受到使用場景的限制，在實際生活中并不常見，一般只用于網頁中作為視覺障礙人群的輔助驗證。聲紋驗證是未來的發(fā)展方向，然而語音驗證碼更大的挑戰(zhàn)仍然是在于使用場景限制問題。行為驗證碼、游戲驗證碼、推理驗證碼等其他驗證碼在實際場景中也并不常見，這些驗證碼雖然形式更加新穎，自動破解難度更大，但是他們更多受限于用戶接受程度和實際部署難度，因此更多的考慮如何平衡可用性和安全性，降低操作復雜度，提高用戶可接受心理，是未來發(fā)展的主要方向。2.4驗證碼的未來發(fā)展方向和挑戰(zhàn)03短信驗證碼短信驗證碼短信驗證碼是指利用手機端短信通信服務來完成用戶身份認證的驗證方式。首先用戶在操作頁面確認發(fā)送短信驗證碼服務，系統(tǒng)通過動態(tài)給用戶手機發(fā)送特定字符或數字驗證碼，隨后通過校驗用戶的回答內容確定用戶真實身份。短信驗證碼服務流程圖短信驗證碼特性：通過短信進行二次驗證,是成本最低,最簡單便捷的驗證方式；手機的普及也使的短信驗證碼最容易被用戶廣泛接受。通過運營商服務和個人手機號來確認用戶身份，其目標針對性較強，安全性程度也相對更高。短信驗證碼還能實現無密碼登錄，即在掌握手機號碼的前提下，也能讓用戶不輸賬號而通過手機號發(fā)送短信驗證碼的形式直接登陸，手機只要收到系統(tǒng)發(fā)送的驗證碼，就可以實現快速登陸。3第六章身份認證中對抗性攻擊和防御目錄CONTENTS04對抗攻擊05對抗防御01章節(jié)結構02章節(jié)背景03背景術語06身份認證中的對抗攻擊07身份認證中的對抗防御01章節(jié)結構背景知識術語概念對抗攻擊/防御身份認證中的對抗攻擊/防御介紹章節(jié)的背景知識以及相關的概念。介紹對抗攻擊以及對抗防御的常見類型。對章節(jié)中涉及的主要術語進行解釋說明。介紹身份認證中對抗攻擊以及對抗防御的常見形式。01章節(jié)結構02章節(jié)背景02章節(jié)背景近年來，許多生物特征認證系統(tǒng)利用神經網絡進行開發(fā)，受益于深度學習模型的高效率和高準確度，生物特征認證系統(tǒng)得到了長足的發(fā)展。然而，面對惡意攻擊、強噪聲等干擾因素，其識別準確度較低，魯棒性不足的問題也亟需解決。深度神經網絡易受到對抗樣本干擾的弊端，即在輸入數據中施加微小擾動來誘騙模型產生錯誤輸出。一方面對抗樣本的存在揭示了深度學習模型的可解釋性不足，使得實際部署的單功能深度神經網絡存在嚴重的安全隱患；另一方面從以攻促防的應用前景來看，生成對抗樣本的對抗攻擊算法也已經成為近年來深度學習領域炙手可熱的研究熱點。鑒于此，本章節(jié)將主要圍繞對抗樣本展開，對已經被提出的一些經典的、具有一定代表性的攻擊技術以及其相對應的防御手段進行梳理總結，并簡要介紹其在身份認證中的發(fā)展及變體。03背景術語由對抗攻擊所生成的有害樣本，可以誤導模型進行錯誤分類，人眼無法識別出對抗樣本和干凈樣本。對抗樣本針對某張干凈樣本以某種攻擊形式添加對抗性擾動以生成對抗樣本，分為有目標攻擊以及無目標攻擊。對抗攻擊針對對抗攻擊進行主動或是被動的防御以緩解對抗攻擊對模型預測分類結果的不良影響。對抗防御03背景術語04對抗攻擊與訓練神經網絡類似的思想類似?；趦?yōu)化擾動的攻擊方法將對抗樣本的生成過程可定義為求解一個優(yōu)化問題，通過固定模型及其超參數，依據某種優(yōu)化策略搜索足以改變模型預測的最小擾動。C&W攻擊、EAD攻擊基于優(yōu)化擾動的攻擊方法基于約束擾動的攻擊放寬了限制條件，將擾動大小設置為優(yōu)化問題的約束，常常通過對擾動進行裁剪操作滿足擾動閾值的限制。該類攻擊通常依托于損失函數的梯度信息尋找可行擾動。FGSM攻擊、PGD攻擊基于約束擾動的攻擊基于決策邊界的攻擊方法放棄了復雜的優(yōu)化問題求解思路，轉而去在尋找距離樣本最近的某類決策邊界。通過跨越決策邊界，改變模型的預測結果來找到合適的對抗樣本，從而完成對抗攻擊。DeepFool、UAP攻擊基于決策邊界的攻擊方法不同于傳統(tǒng)攻擊對所有像素進行修改，其他白盒攻擊對像素擾動進行的限制，從全局的擾動添加變?yōu)榱藢Ｗ⒂趥€別像素的修改。這樣攻擊者更有針對性地添加擾動，減少對原本干凈樣本的修改痕跡。One-pixel、JSMA攻擊其他白盒攻擊方法04白盒攻擊白盒攻擊通過深入訪問和利用機器學習模型的內部結構和參數信息來生成對抗樣本。攻擊者能夠獲取模型的權重、梯度等詳細信息，并利用這些信息設計輸入數據的微小擾動，使模型產生錯誤預測?；诎缀泄舻膬?yōu)越性能以及神經網絡的可遷移，基于遷移的攻擊旨在利用替代數據集自行訓練一個替代神經網絡，并對其進行白盒攻擊，再將得到的對抗樣本用于攻擊目標黑盒模型。DI-FGSM、SMBEA基于遷移的攻擊基于預測軟標簽的攻擊方旨在利用黑盒模型輸出的概率分布信息（軟標簽），逐步調整輸入數據的微小擾動，以最大化目標類的概率或最小化真實類的概率，從而迫使模型做出錯誤預測。ZOO攻擊、AutoZOOM基于預測軟標簽的攻擊與軟標簽不同，基于硬標簽的攻擊僅能使用模型給出的類別標簽（硬標簽），是最為嚴苛的攻擊約束設定?；诖斯粽咭话銖囊粋€擾動極大的初始樣本出發(fā)，在模型決策邊界附近游走以最小化有效擾動。RGF攻擊、HSJA攻擊基于預測硬標簽的攻擊其他黑盒攻擊旨在將黑盒攻擊與各領域結合以發(fā)掘新的攻擊方法。比較典型的例子如使用生成對抗網絡來生成與模型無關的對抗樣本；或是將貝葉斯優(yōu)化與黑盒攻擊相結合以降低搜索空間的維度進行高效搜索。AdvGAN、BO-ATP其他黑盒攻擊方法04黑盒攻擊黑盒攻擊通過無需訪問機器學習模型內部結構和參數信息，僅依賴輸入輸出行為來生成對抗樣本。攻擊者通過觀察模型對不同輸入的預測結果，逐步調整輸入數據的微小擾動，使模型產生錯誤預測。05對抗防御基于壓縮與變換的防御通過對輸入數據進行壓縮和變換來抵御對抗攻擊。壓縮操作可以移除輸入數據中的微小擾動，而變換操作則改變數據的空間結構，從而達到破壞對抗樣本的效果。JEPG壓縮、ComDefend基于壓縮與變換的防御基于破壞與重構的防御通過對輸入數據進行破壞和重構來抵御對抗攻擊。破壞操作可以有效削弱對抗擾動，而重構操作又起到了恢復數據的關鍵特征的作用，從而提高模型的魯棒性和安全性。ME-Net、CIIDefence基于破壞與重構的防御基于檢測器的防御通過某種算法來訓練專門的檢測模型來識別和過濾對抗樣本。檢測器分析輸入數據的特征，以區(qū)分正常樣本和對抗樣本，從而在對抗樣本進入主模型之前進行攔截或標記。MagNet檢測器基于檢測器的防御除了常見的三種主動防御方法，通過發(fā)掘模型與數據中更深層次的信息以解釋對抗樣本與干凈樣本的差異，或是與前沿各種領域的新技術相結合，一些新的主動檢測對抗樣本的防御策略也逐漸被提出。HGD降噪、Defense-GAN其他主動防御方法05基于預處理的主動防御基于預處理的主動防御是一種通過在輸入數據進入機器學習模型之前對其進行處理，以抵御對抗攻擊的方法。這種防御機制通過在輸入數據上施加特定的變換，如圖像去噪、裁剪、縮放、平滑濾波、隨機噪聲添加等，使得對抗樣本的效果減弱或失效?；谀Ｐ驼麴s的防御通過訓練一個更小、更平滑的學生模型來模仿原始復雜的教師模型，從而增強魯棒性。蒸餾過程減少模型對輸入擾動的敏感性，使得微量擾動對模型無效，提高其抵御對抗攻擊的能力。DefensiveDistillation基于模型蒸餾的防御考慮到對抗樣本的一個特點是其擾動幅度十分微小，因此基于梯度正則化的防御會懲罰輸入的微小變化，從而使得在模型的訓練階段就引導模型的梯度向著無視微小變化的方向變化，從而防御對抗樣本。GradientRegularization基于梯度正則化的防御在對抗訓練中，訓練目標模型所需要的數據集由對抗樣本和原始數據集共同構成。在訓練過程中，模型不僅會接觸到干凈的原始樣本，同時也會接觸到含有對抗擾動的對抗樣本，以此來提升模型的魯棒性。TRADES、MART基于對抗訓練的防御對抗訓練普遍被認為是最有效的防御策略，但生成對抗樣本卻需要計算開銷?；诖?，針對早期使用原始PGD方式生成對抗樣本效率低的問題，各種新的生成方法被提出以提高對抗訓練的整體效率。FreeAT、FreeLB對抗訓練的改進05基于正則化的被動防御基于正則化的被動防御通過在模型訓練過程中引入約束，限制模型的復雜度和靈活性，從而增強模型的魯棒性和抗攻擊能力。這種防御方法旨在使模型對輸入數據的微小擾動不敏感，減少過度擬合的風險，增強模型對異常輸入的穩(wěn)定性。06身份認證中的對抗攻擊端對端網絡在對抗攻擊章節(jié)已經被證實對抗樣本缺乏魯棒性，而利用深度特征進行生物識別的系統(tǒng)同樣無法抵御對抗攻擊。由于GAN網絡超越傳統(tǒng)神經網絡的特征提取性能，并且能夠按照原樣本的特點生成新的數據，GAN也常用于人臉識別領域生成對抗樣本。advGan便是其中的代表。針對人臉識別模塊的攻擊與針對人臉識別模塊的攻擊不同，針對人臉檢測模塊的攻擊旨在通過逃避預處理檢測器的檢測而達成攻擊的目的，針對的目標并不是識別模型本身。在這種攻擊模式下攻擊者訓練一個生成器來不斷生成對抗樣本，同時根據檢測器的分類結果來對生成器進行矯正以達到最終的檢測逃避的目的。針對人臉檢測模塊的攻擊06針對人臉識別的對抗攻擊數字域對抗攻擊假設攻擊者能夠直接向深度學習算法饋入數字圖像形式的對抗樣本。攻擊者利用流行的FGSM、PGD等梯度優(yōu)化算法或者GAN網絡在原始輸入的基礎上生成對抗樣本。數字域對抗攻擊advGan示意圖檢測逃避示意圖在數字域中生成的對抗樣本同樣可以作用于物理域，但考慮到圖像被捕獲后可能發(fā)生的種種微小變形，需要進行一定措施的處理避免對抗樣本失效。在advHat中，首先對生成的對抗圖案做非平面轉換，以模仿粘貼至額前可能發(fā)生的形變從而增強對抗圖案的魯棒性，之后根據損失函數更改圖像變動的方向，通過迭代優(yōu)化的方式生成對抗樣本。針對人臉識別模塊的攻擊在針對人臉檢測模塊的攻擊中，有研究者發(fā)現附著在帽檐上甚至隱藏在發(fā)絲中的紅外線LED燈可以通過投射紅外點至面部關鍵區(qū)域，微妙地改變目標體的面部特征，從而逃避檢測。相對于貼紙類攻擊，該種基于紅外的隱形面部變形在擾動體量和隱蔽性上都更具優(yōu)勢。并且無需針對具體的識別模型進行調整，具備更高的通用性。針對人臉檢測模塊的攻擊06針對人臉識別的對抗攻擊物理域對抗攻擊關注在真實目標體上部署對抗樣本，在這種情況下，對抗樣本總是被攝像頭或傳感器捕獲。在該方面同樣存在很多關于攻擊方法的研究，相較于數字域上的攻擊手段，其面臨更多的挑戰(zhàn)，如打印后圖像顏色失真、對抗圖像的移位旋轉及形變、現實空間中復雜的光照等。物理域對抗攻擊advHat示意圖檢測逃避所用的LED燈安裝了LED燈的鴨舌帽作為語音身份驗證系統(tǒng)防御攻擊的城池堡壘，語音欺騙對策模塊通常也無法成功抵御對抗攻擊。Liu等人從完整性考慮，采用快速梯度符號法（FGSM）和投影梯度下降法（PGD）在白盒和黑盒兩種場景設置下首次對語音欺騙對策模塊的可靠性進行評估，證明深度語音欺騙對策模塊對于對抗音頻的非魯棒性。Andre等開發(fā)了ADVCM作為第一個針對語音欺騙對策模塊的實際攻擊，以生成對抗樣本作為攻擊策略，將生成針對語音欺騙對策模塊對抗噪聲的問題歸約為一個受威脅模型約束的優(yōu)化問題。06針對語音身份驗證平臺的攻擊方法聲紋識別的判定機理建立在未知輸入語音和已注冊語音的特征相似性上，在一般的聲紋識別任務中，對于真實的模型攻擊，攻擊者只擾動待測試語音并且保持注冊語音集的干凈性。在代表性針對聲紋識別子系統(tǒng)的FAKEBOB攻擊中，攻擊者將對抗性樣本的生成公式化為一個優(yōu)化問題，以平衡對抗語音的強度和隱蔽性。針對聲紋識別子系統(tǒng)的攻擊FAKEBOB示意圖針對語音欺騙對策模塊的攻擊ADVCM示意圖作為遠距離身份認證方法之一，行人重識別是利用計算機視覺技術比對不同方位角度下行人外表特征，從而判斷圖像或者視頻序列中是否存在某些特定行人的技術，通常意義上可以認為是一個圖像檢索的子問題，通過檢索跨設備下的行人圖像，判別目標行人是否出現。Zhao等提出一種基于GAN的無監(jiān)督對抗攻擊方法UAA-GAN，包含生成對抗樣本的生成器、區(qū)分真?zhèn)螆D像的鑒別器和計算輸入圖像深度特征的目標網絡，其在攻擊行人重識別模型方面有著不俗的表現。06針對遠距離識別技術的攻擊方法步態(tài)識別是一種新興的生物特征辨別技術，旨在利用人類行走的姿態(tài)實現身份辨識，相較于其他的生物識別技術，步態(tài)識別有著非接觸式遠距離的優(yōu)勢，其在社會治安、遠程監(jiān)視領域有著廣泛的應用。Jia等人提出一種結合GAN在合成視頻方面的優(yōu)勢與步態(tài)識別中先驗知識的攻擊方法，從特定目標的源步態(tài)序列和目標場景圖像中渲染出偽造視頻。針對步態(tài)識別的攻擊步態(tài)識別生成器示意圖針對行人重識別的攻擊UA