身份認(rèn)證技術(shù) 課件 第4-6章 用戶是什么、人機(jī)區(qū)分、身份認(rèn)證中對(duì)抗性攻擊和防御

第四章用戶是什么現(xiàn)代生物識(shí)別技術(shù)目錄CONTENTS04聲音識(shí)別05掌紋識(shí)別06未來發(fā)展與挑戰(zhàn)01人臉識(shí)別02指紋識(shí)別03虹膜識(shí)別00引言現(xiàn)代生物識(shí)別技術(shù)我們生活在一個(gè)高度信息化的社會(huì)，越來越多的人意識(shí)到信息保護(hù)的重要性。隨著技術(shù)的發(fā)展，傳統(tǒng)的身份驗(yàn)證方法，如數(shù)字密碼、字符密碼，甚至數(shù)字和字符的組合，已經(jīng)逐漸無法滿足用戶對(duì)隱私保護(hù)的要求。信息保護(hù)的重要性相對(duì)于傳統(tǒng)身份驗(yàn)證方法，生物識(shí)別技術(shù)提供了一種更為可靠且方便的解決方案。每個(gè)人的生物特征都是獨(dú)一無二的，包括指紋、虹膜、面部結(jié)構(gòu)等，這些都不容易被復(fù)制或模仿。生物識(shí)別技術(shù)的優(yōu)勢(shì)生物識(shí)別技術(shù)已經(jīng)被廣泛應(yīng)用于金融、電子商務(wù)、網(wǎng)絡(luò)安全、門禁安全等領(lǐng)域，顯示出其跨行業(yè)的適應(yīng)性和實(shí)用性應(yīng)用范圍的廣泛性00現(xiàn)代生物識(shí)別技術(shù)00生物識(shí)別技術(shù)概覽生物識(shí)別技術(shù)是一種利用人的生物學(xué)特征進(jìn)行身份認(rèn)證的技術(shù)。它基于每個(gè)人獨(dú)有的生理或行為特征，如指紋、虹膜、人臉、聲音等，提供一種安全、便捷的身份驗(yàn)證方式。定義隨著數(shù)字化時(shí)代的到來，傳統(tǒng)的身份驗(yàn)證方法（如密碼和PIN碼）由于安全性和便利性問題逐漸顯示出局限性。生物識(shí)別技術(shù)提供了一種固有的、難以偽造的身份驗(yàn)證手段，極大地增強(qiáng)了個(gè)人和企業(yè)的數(shù)據(jù)安全。重要性技術(shù)分類人臉識(shí)別利用個(gè)體面部的結(jié)構(gòu)特征進(jìn)行識(shí)別。常見于公安識(shí)別、手機(jī)解鎖及自動(dòng)邊檢應(yīng)用。指紋識(shí)別分析手指上的紋理圖案，是最早被商用的生物識(shí)別技術(shù)。廣泛用于門禁系統(tǒng)、手機(jī)安全及銀行認(rèn)證。虹膜識(shí)別通過分析眼睛虹膜的復(fù)雜圖案進(jìn)行身份驗(yàn)證。由于其高準(zhǔn)確性，常用于高安全場(chǎng)所的身份認(rèn)證。聲音識(shí)別基于語音的特點(diǎn)進(jìn)行個(gè)體識(shí)別，常用于電話銀行服務(wù)和智能助理。掌紋識(shí)別使用手掌的紋理和脈絡(luò)圖案進(jìn)行識(shí)別。相較于其他生物特征，掌紋提供了更多的特征區(qū)域，用于增加識(shí)別的準(zhǔn)確性。01人臉識(shí)別01人臉識(shí)別技術(shù)人臉識(shí)別是一種基于個(gè)體面部特征來進(jìn)行身份驗(yàn)證的生物識(shí)別技術(shù)。它通過分析面部結(jié)構(gòu)的關(guān)鍵點(diǎn)，如眼睛、鼻子、嘴巴以及臉型等，識(shí)別個(gè)人身份?；靖拍钊四樧R(shí)別技術(shù)廣泛應(yīng)用于安全驗(yàn)證系統(tǒng)、公安系統(tǒng)、移動(dòng)設(shè)備安全、銀行安全驗(yàn)證等領(lǐng)域。它也被用于監(jiān)控系統(tǒng)以提升公共安全，如機(jī)場(chǎng)、購(gòu)物中心和重要基礎(chǔ)設(shè)施的監(jiān)控系統(tǒng)。應(yīng)用背景

(a)門禁身份認(rèn)證(b)面容支付01人臉識(shí)別技術(shù)-技術(shù)原理

人臉檢測(cè)與預(yù)處理特征提取特征匹配與識(shí)別系統(tǒng)需要檢測(cè)出圖像中的人臉，通常是通過人臉的顏色和特定結(jié)構(gòu)特征來實(shí)現(xiàn)。之后，將檢測(cè)到的人臉進(jìn)行預(yù)處理，包括調(diào)整圖像尺寸和方向，確保后續(xù)處理的一致性。提取的特征數(shù)據(jù)將與數(shù)據(jù)庫中預(yù)存的面部數(shù)據(jù)進(jìn)行比對(duì)。匹配過程通常涉及復(fù)雜的算法，以確保識(shí)別的準(zhǔn)確性和效率。系統(tǒng)將提取面部的關(guān)鍵特征點(diǎn)，這些特征點(diǎn)包括但不限于眼睛、鼻子、嘴巴的位置，以及臉的輪廓。這些特征點(diǎn)將轉(zhuǎn)化為數(shù)據(jù)，以便進(jìn)行進(jìn)一步的分析。01人臉識(shí)別技術(shù)-挑戰(zhàn)與解決方案人臉識(shí)別技術(shù)面臨的主要挑戰(zhàn)包括光線變化、面部遮擋（如戴眼鏡或口罩）、表情變化等因素的影響。挑戰(zhàn)人臉識(shí)別技術(shù)廣泛應(yīng)用于安全驗(yàn)證系統(tǒng)、公安系統(tǒng)、移動(dòng)設(shè)備安全、銀行安全驗(yàn)證等領(lǐng)域。它也被用于監(jiān)控系統(tǒng)以提升公共安全，如機(jī)場(chǎng)、購(gòu)物中心和重要基礎(chǔ)設(shè)施的監(jiān)控系統(tǒng)。解決方案02指紋識(shí)別02指紋識(shí)別技術(shù)指紋識(shí)別是一種通過分析個(gè)人手指上的紋理圖案進(jìn)行身份驗(yàn)證的生物識(shí)別技術(shù)。它依據(jù)的是指紋中的脊線、分叉點(diǎn)和終止點(diǎn)等微小特征，這些特征在每個(gè)人身上都是獨(dú)一無二的?；靖拍钪讣y識(shí)別技術(shù)被廣泛用于門禁控制、身份驗(yàn)證、移動(dòng)支付和法律執(zhí)法等領(lǐng)域。它的便捷性和高安全性使其成為最普遍應(yīng)用的生物識(shí)別技術(shù)之一。應(yīng)用背景

(a)電腦指紋解鎖

(b)手機(jī)指紋解鎖

(c)指紋打卡02指紋識(shí)別技術(shù)

-技術(shù)原理

指紋采集特征提取特征匹配與識(shí)別通過指紋掃描器或傳感器捕獲指紋圖像。這些設(shè)備利用光學(xué)、電容或超聲波技術(shù)來捕捉指紋的高分辨率圖像。提取的特征將與數(shù)據(jù)庫中存儲(chǔ)的指紋模板進(jìn)行匹配。通過算法計(jì)算兩者之間的相似度，從而驗(yàn)證用戶的身份。從采集到的指紋圖像中提取特征點(diǎn)，主要關(guān)注脊線的流向、分叉點(diǎn)和終止點(diǎn)等關(guān)鍵特征。02指紋識(shí)別技術(shù)-挑戰(zhàn)與解決方案指紋識(shí)別可能受到手指表面的干凈度、損傷或磨損以及環(huán)境因素（如濕度和污漬）的影響。挑戰(zhàn)開發(fā)更先進(jìn)的傳感器技術(shù)，如多光譜成像和增強(qiáng)的圖像處理算法，以提高在不理想條件下的識(shí)別準(zhǔn)確性。解決方案03虹膜識(shí)別03虹膜識(shí)別技術(shù)虹膜識(shí)別是一種利用眼睛虹膜中獨(dú)特圖案進(jìn)行身份驗(yàn)證的生物識(shí)別技術(shù)。虹膜具有復(fù)雜的紋理，這些紋理即使在同卵雙胞胎中也是獨(dú)特的，且從出生到死亡過程中保持不變?；靖拍詈缒ぷR(shí)別技術(shù)因其極高的識(shí)別準(zhǔn)確率和難以偽造的特性，被廣泛應(yīng)用于高安全級(jí)別的身份驗(yàn)證場(chǎng)合，如機(jī)場(chǎng)邊檢、國(guó)防安全和重要設(shè)施的訪問控制。應(yīng)用背景

(a)入境管理身份認(rèn)證

(b)政府機(jī)構(gòu)身份認(rèn)證03虹膜識(shí)別技術(shù)

-技術(shù)原理

虹膜捕獲特征提取特征匹配與識(shí)別使用專門的攝像設(shè)備，在一定距離內(nèi)通過紅外光照射捕獲眼睛的虹膜圖像。紅外光有助于突出虹膜的細(xì)節(jié)紋理，即使在光線較暗的環(huán)境中也能獲得高質(zhì)量的圖像。將提取的虹膜特征與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的虹膜模板進(jìn)行比對(duì)。匹配算法評(píng)估兩者之間的相似度，若足夠高，則確認(rèn)身份匹配。從捕獲的虹膜圖像中提取特征，包括各種環(huán)、褶皺和紋理點(diǎn)。這些特征將轉(zhuǎn)換成數(shù)字代碼，形成虹膜模板。03虹膜識(shí)別技術(shù)-挑戰(zhàn)與解決方案用戶需要直視攝像頭，可能導(dǎo)致操作上的不便。此外，眼鏡、隱形眼鏡或眼部疾病也可能影響圖像質(zhì)量和識(shí)別效果。挑戰(zhàn)采用更先進(jìn)的成像技術(shù)和圖像處理算法，以提高系統(tǒng)對(duì)上述問題的魯棒性。增加系統(tǒng)的用戶指導(dǎo)，確保正確捕獲虹膜圖像。解決方案(a)近紅外虹膜圖像

(b)可見光虹膜圖像04聲音識(shí)別04聲音識(shí)別技術(shù)聲音識(shí)別技術(shù)基于分析個(gè)體的聲音特征進(jìn)行身份驗(yàn)證，主要利用語音的音調(diào)、節(jié)奏、音色和發(fā)音等特點(diǎn)。每個(gè)人的聲音具有獨(dú)特的生理和行為特征，這些可以用于明確個(gè)人身份?；靖拍盥曇糇R(shí)別技術(shù)常用于電話銀行系統(tǒng)、智能家居控制、虛擬助理和安全門禁系統(tǒng)等。由于其非接觸式和遠(yuǎn)程操作的特點(diǎn)，聲音識(shí)別為用戶提供了極大的便利。應(yīng)用背景基于HMM的聲學(xué)模型結(jié)構(gòu)圖04聲音識(shí)別技術(shù)

-技術(shù)原理

聲音采集特征提取特征匹配與識(shí)別使用麥克風(fēng)設(shè)備捕獲語音樣本。在環(huán)境噪音可控的情況下，盡可能清晰地記錄下說話者的聲音。將提取的聲學(xué)特征與數(shù)據(jù)庫中存儲(chǔ)的聲紋模板進(jìn)行比對(duì)。通過各種聲紋匹配算法計(jì)算相似度，以驗(yàn)證說話者的身份。從捕獲的語音中提取有區(qū)別性的聲學(xué)特征，如基頻、共振峰和語速等。這些特征被轉(zhuǎn)換成數(shù)值形式，以便進(jìn)行后續(xù)處理。05掌紋識(shí)別05掌紋識(shí)別技術(shù)掌紋識(shí)別技術(shù)是通過分析手掌的紋理圖案、線條和脊線來識(shí)別個(gè)體身份的一種生物識(shí)別方法。掌紋包括掌紋紋理、主線、皺紋和脊線等，具有高度的復(fù)雜性和個(gè)體差異性。基本概念掌紋識(shí)別由于其穩(wěn)定性和獨(dú)特性，被用于高安全需求的場(chǎng)景，如銀行安全系統(tǒng)、企業(yè)門禁控制以及高安全級(jí)別的身份驗(yàn)證系統(tǒng)。應(yīng)用背景

(c)掌紋支付

(d)掌紋解鎖(a)掌紋打卡

(b)掌紋采集05掌紋識(shí)別技術(shù)

-技術(shù)原理

掌紋采集特征提取特征匹配與識(shí)別使用高分辨率的掃描器或相機(jī)捕獲掌紋圖像。這些設(shè)備能夠詳細(xì)捕捉掌紋上的每一個(gè)細(xì)節(jié)，包括脊線和細(xì)小的皺紋。提取的掌紋特征與數(shù)據(jù)庫中的模板進(jìn)行比對(duì)。通過特定的算法計(jì)算匹配度，確認(rèn)個(gè)體的身份。從捕獲的掌紋圖像中提取關(guān)鍵特征，包括線條的方向、間隔和唯一的皺紋模式。這些特征被轉(zhuǎn)換為數(shù)字形式，用于進(jìn)一步的分析和匹配。05掌紋識(shí)別技術(shù)-挑戰(zhàn)與解決方案用戶需要直視攝像頭，可能導(dǎo)致操作上的不便。此外，眼鏡、隱形眼鏡或眼部疾病也可能影響圖像質(zhì)量和識(shí)別效果。挑戰(zhàn)采用更先進(jìn)的成像技術(shù)和圖像處理算法，以提高系統(tǒng)對(duì)上述問題的魯棒性。增加系統(tǒng)的用戶指導(dǎo)，確保正確捕獲虹膜圖像。解決方案06未來發(fā)展與挑戰(zhàn)06未來發(fā)展與挑戰(zhàn)-未來發(fā)展趨勢(shì)未來的生物識(shí)別技術(shù)將趨向于集成多種識(shí)別方式，如結(jié)合虹膜、指紋和面部識(shí)別技術(shù)，提高系統(tǒng)的整體安全性和準(zhǔn)確性。多模態(tài)生物識(shí)別系統(tǒng)能更有效地應(yīng)對(duì)復(fù)雜場(chǎng)景和高安全需求。集成與多模態(tài)生物識(shí)別系統(tǒng)利用人工智能和機(jī)器學(xué)習(xí)技術(shù)提升生物識(shí)別系統(tǒng)的自學(xué)習(xí)和自適應(yīng)能力，能夠更準(zhǔn)確地識(shí)別和預(yù)測(cè)個(gè)體的生物特征，以及更好地應(yīng)對(duì)偽造和欺詐行為。人工智能和機(jī)器學(xué)習(xí)的應(yīng)用生物識(shí)別技術(shù)將更加便攜化，并無縫集成到日常設(shè)備和應(yīng)用中，如智能手機(jī)、穿戴設(shè)備和家庭安全系統(tǒng)，為用戶提供更加便捷和無縫的使用體驗(yàn)。便攜化和無縫集成06未來發(fā)展與挑戰(zhàn)-主要挑戰(zhàn)隨著生物識(shí)別技術(shù)的普及，如何保護(hù)個(gè)人的生物識(shí)別數(shù)據(jù)不被濫用成為一個(gè)重大挑戰(zhàn)。需制定更嚴(yán)格的隱私保護(hù)措施和法律法規(guī)，確保數(shù)據(jù)安全和個(gè)人隱私。隱私與數(shù)據(jù)保護(hù)提高生物識(shí)別系統(tǒng)的抗欺騙能力，特別是在面對(duì)高級(jí)偽造技術(shù)時(shí)，如3D面具、仿真指紋等。開發(fā)更先進(jìn)的檢測(cè)算法，以識(shí)別和防范這些欺詐手段?？蛊垓_技術(shù)的提升雖然生物識(shí)別技術(shù)提供了高效的安全保障，但其普及還需解決用戶對(duì)技術(shù)侵入性的擔(dān)憂，特別是在涉及敏感身份信息的場(chǎng)景中。用戶接受度與技術(shù)普及第五章人機(jī)區(qū)分目錄CONTENTS01人機(jī)交互02驗(yàn)證碼03短信驗(yàn)證碼01人機(jī)交互1人機(jī)交互人機(jī)交互起源于計(jì)算機(jī)智能化的飛速發(fā)展，從人工智能到圖靈測(cè)試，再到人機(jī)交互證明，都是人機(jī)交互的重要關(guān)聯(lián)知識(shí)。研究使計(jì)算機(jī)模擬人的某些思維過程和智能行為的學(xué)科。具有模仿人類行為的各種計(jì)算方式，可以定義為智能。分為弱人工智能和強(qiáng)人工智能。人工智能由計(jì)算機(jī)科學(xué)和密碼學(xué)的先驅(qū)AlanTuring提出，目的是評(píng)估機(jī)器的智能水平與人類的智能水平有多接近。利用人和機(jī)器的差異性來測(cè)試機(jī)器是否具備人類智能。測(cè)試者通過被測(cè)試的人和機(jī)器對(duì)于所提問題的各種反應(yīng)來判斷是人還是機(jī)器。圖靈測(cè)試圖靈測(cè)試示意圖02驗(yàn)證碼2驗(yàn)證碼驗(yàn)證碼，英文名稱為CAPTCHA（CompletelyAutomatedPublicTuringtesttotellComputersandHumansApart，全自動(dòng)區(qū)分計(jì)算機(jī)和人類的圖靈測(cè)試），即用來區(qū)分機(jī)器和人類的全自動(dòng)公共圖靈測(cè)試。驗(yàn)證碼身份認(rèn)證流程安全性：安全性代表實(shí)用驗(yàn)證碼保護(hù)網(wǎng)站免受任何未經(jīng)授權(quán)訪問的方式，包括使用復(fù)雜的編程元素，使得驗(yàn)證碼更加安全，即驗(yàn)證碼應(yīng)該以計(jì)算機(jī)幾乎無法解決的方式進(jìn)行設(shè)計(jì)編程?？捎眯裕嚎捎眯允菍?duì)用戶解決驗(yàn)證碼難易程度的描述，它與人類用戶如何找到驗(yàn)證碼難題的正確解決方案緊密相連。實(shí)用性：實(shí)用性代表了驗(yàn)證碼編程實(shí)現(xiàn)的方式，需要保證用戶可以在計(jì)算機(jī)、平板電腦或者是智能移動(dòng)手機(jī)上任何網(wǎng)絡(luò)瀏覽器都能夠輕松解讀驗(yàn)證碼。2.1驗(yàn)證碼特性2.1驗(yàn)證碼特性在設(shè)計(jì)驗(yàn)證碼時(shí)需要全面分析考慮驗(yàn)證碼可用性和安全性的平衡：注意統(tǒng)計(jì)實(shí)驗(yàn)的用戶數(shù)量足夠，統(tǒng)計(jì)應(yīng)該具有普遍性；追求安全性的同時(shí)，充分考慮到各種驗(yàn)證碼方案形式，以盡可能改善用戶體驗(yàn)。2.1驗(yàn)證碼特性2.2驗(yàn)證碼分類文本驗(yàn)證碼圖像驗(yàn)證碼語音驗(yàn)證碼游戲驗(yàn)證碼行為驗(yàn)證碼其他驗(yàn)證碼基于英文文本的2D驗(yàn)證碼加入字符扭曲，重疊，殘缺等機(jī)制；加入干擾背景，干擾線，字符字體及顏色變換等安全機(jī)制?；谥形淖址?D驗(yàn)證碼中文驗(yàn)證碼與英文驗(yàn)證碼類似，往往加入干擾背景，字符扭曲，字體變換等措施以提高其安全性。文本驗(yàn)證碼基于人類對(duì)文本字符的識(shí)別能力設(shè)計(jì)新浪微博PayPal百度it168點(diǎn)選驗(yàn)證碼部署在中文網(wǎng)站上的點(diǎn)選驗(yàn)證碼通常要求用戶按順序點(diǎn)擊圖片中的中文字符。3D文本驗(yàn)證碼基于人類可輕松識(shí)別3D物體，而計(jì)算機(jī)對(duì)3D物體的識(shí)別存在局限性這一事實(shí)設(shè)計(jì)。文本驗(yàn)證碼基于人類對(duì)文本字符的識(shí)別能力設(shè)計(jì)ClickableCAPTCHAQQ安全中心小盾DotCHA文本驗(yàn)證碼1.基本邏輯簡(jiǎn)單，生成成本較低；2.從可用性角度來看，文本驗(yàn)證碼依賴人類的視覺能力和對(duì)字符的識(shí)別能力，即使加入字符扭曲，干擾等安全機(jī)制，真實(shí)用戶依然可以快速、準(zhǔn)確的識(shí)別字符，通過測(cè)試所需步驟和時(shí)間較少，用戶可用性較高；3.沒有額外的記憶內(nèi)容和較高的硬件要求，資源需求量小，是最易廣泛部署的驗(yàn)證碼類型。優(yōu)勢(shì)1.即使添加了各種安全機(jī)制，總體來說易受到OCR及機(jī)器學(xué)習(xí)的攻擊，安全性較差；2.無法滿足所有人群需求，如不適合有視力障礙的人群。缺陷向用戶提供多張候選圖片及一段提示語句，要求用戶按照提示語句選擇符合要求的圖片。完成此類驗(yàn)證碼主要依賴人類的物體分類能力，即快速判斷圖像中物體所屬類別?；谖矬w分類物體分類給出一張圖片，要求用戶捕捉該圖片中細(xì)節(jié)內(nèi)容，并根據(jù)提示點(diǎn)擊圖像對(duì)應(yīng)位置，此類驗(yàn)證碼主要依賴人類對(duì)圖像細(xì)節(jié)的感知能力?；诩?xì)節(jié)感知細(xì)節(jié)感知在一張驗(yàn)證碼圖片中展示多個(gè)顏色、形狀、大小均不相同的物體，用戶需要根據(jù)提示在所有物體中選出符合描述的物體，提示中可能包含物體個(gè)體屬性和物體間抽象關(guān)系。基于視覺推理視覺推理按表現(xiàn)形式可分為圖片驗(yàn)證碼和視頻驗(yàn)證碼兩種，其中視頻驗(yàn)證碼通?；谌祟悓?duì)圖像內(nèi)容的語義提取能力實(shí)現(xiàn)。基于語義提取語義提取圖像驗(yàn)證碼基于人類對(duì)圖像的感知及處理能力基于物體分類的圖像驗(yàn)證碼AsirraGooglereCAPTCHAFR-CAPTCHATICS

要求用戶選擇與示例圖片和描述相同類別的圖像要求用戶根據(jù)提示選擇相應(yīng)圖像

要求用戶選擇出現(xiàn)兩次的人臉圖像，所有圖像添加了噪音干擾要求用戶根據(jù)描述點(diǎn)擊對(duì)應(yīng)圖像，全部圖像均為合成圖像基于細(xì)節(jié)感知的圖像驗(yàn)證碼ImplicitCAPTCHASACaptcha網(wǎng)易

要求用戶根據(jù)提示點(diǎn)擊圖片中對(duì)應(yīng)位置要求用戶點(diǎn)擊提示對(duì)應(yīng)的形狀區(qū)域，圖片中存在變色區(qū)域塊要求用戶根據(jù)提示按序點(diǎn)擊前景圖像，前景圖像顏色有區(qū)別基于視覺推理的圖像驗(yàn)證碼騰訊頂象網(wǎng)易

要求用戶根據(jù)提示點(diǎn)擊對(duì)應(yīng)物體要求用戶根據(jù)提示點(diǎn)擊對(duì)應(yīng)物體，存在2D與3D圖形要求用戶根據(jù)提示點(diǎn)擊對(duì)應(yīng)物體，答案物體多為字母或數(shù)字基于語義提取的圖像驗(yàn)證碼MotionCAPTCHAKluever’sCAPTCHAAdvertisementCAPTCHA

要求用戶選擇可以描述視頻中人物運(yùn)動(dòng)的選項(xiàng)要求用戶觀看視頻，并提供三個(gè)最能描述視頻的詞匯要求用戶觀看廣告視頻并選擇廣告描述的產(chǎn)品語音驗(yàn)證碼基于人類產(chǎn)生或識(shí)別語音的能力；要求用戶識(shí)別包含有背景噪音的音頻內(nèi)容，或根據(jù)提示產(chǎn)生可用于驗(yàn)證的音頻。聲學(xué)驗(yàn)證碼基于人類檢測(cè)和識(shí)別聲音事件的能力音頻驗(yàn)證碼向用戶提供一段音頻，要求用戶識(shí)別音頻中的內(nèi)容并根據(jù)規(guī)定指令完成測(cè)試reCAPTCHA語音驗(yàn)證碼Non-speechAudioCAPTCHAHIPUU音頻驗(yàn)證碼對(duì)視障人士友好；以人類聽覺為出發(fā)點(diǎn)設(shè)計(jì)，用戶可用性較好；通過驗(yàn)證碼所需時(shí)間和資源成本較?。粚?duì)于計(jì)算機(jī)來說識(shí)別由噪音干擾的音頻存在困難，而對(duì)于人類可輕松排除噪音干擾。優(yōu)勢(shì)大多數(shù)語音驗(yàn)證碼以英語為基礎(chǔ)語言開發(fā)，對(duì)理解英語困難的用戶并不友好；聽覺具有一定主觀性，相似的聲音和字母發(fā)音容易混淆用戶，導(dǎo)致真人用戶在音頻驗(yàn)證碼上通過率也可能較低；當(dāng)下計(jì)算機(jī)聽覺技術(shù)的發(fā)展可在一定程度上模擬人類聽覺能力，計(jì)算機(jī)在音頻驗(yàn)證碼上能以一定概率通過測(cè)試，并且隨著技術(shù)的發(fā)展，噪音干擾也無法抵抗計(jì)算機(jī)對(duì)音頻的準(zhǔn)確識(shí)別。缺陷游戲驗(yàn)證碼游戲驗(yàn)證碼讓用戶完成指定小游戲來實(shí)現(xiàn)驗(yàn)證過程，試圖讓解決驗(yàn)證碼的任務(wù)變得有趣。與傳統(tǒng)圖像驗(yàn)證碼不同之處在于，游戲驗(yàn)證碼不僅要求用戶的圖像處理能力，同時(shí)需要一定常識(shí)和行為動(dòng)作能力，可以被視作圖像驗(yàn)證碼的升級(jí)挑戰(zhàn)。游戲驗(yàn)證碼1）趣味性強(qiáng)，對(duì)用戶來說體驗(yàn)更好；2）人類可輕松理解游戲規(guī)則并完成，對(duì)計(jì)算機(jī)來說破解成本較高，因此游戲驗(yàn)證碼整體安全性較高；3）形式多樣，很難產(chǎn)生通用性攻擊方法。優(yōu)勢(shì)1）設(shè)計(jì)步驟較復(fù)雜，生成代價(jià)大，難以廣泛部署；2）資源需求量大，具有較高的環(huán)境要求以加載游戲；3）相較于傳統(tǒng)驗(yàn)證碼，用戶通過游戲驗(yàn)證碼所需時(shí)間更長(zhǎng)。缺陷滑動(dòng)驗(yàn)證碼要求用戶通過鼠標(biāo)滑動(dòng)滑塊，以控制圖塊位置或圖形旋轉(zhuǎn)角度，最終完成圖塊復(fù)原或?qū)D形旋轉(zhuǎn)至指定角度?；诨瑒?dòng)滑動(dòng)驗(yàn)證碼拼圖驗(yàn)證碼要求用戶通過拖放來交換圖塊位置或組合圖塊，最終形成完整圖像。基于拼圖拼圖驗(yàn)證碼計(jì)算機(jī)在繪制圖案時(shí)遵循一定幾何原則，而真人用戶的鼠標(biāo)軌跡往往速度不定且充滿抖動(dòng)等不定因素，拖拽驗(yàn)證碼便是通過監(jiān)測(cè)用戶鼠標(biāo)軌跡的方式區(qū)分真人用戶和自動(dòng)程序?；谕献献?yàn)證碼行為驗(yàn)證碼依據(jù)用戶解決圖像問題和根據(jù)指令完成規(guī)定動(dòng)作的能力設(shè)計(jì)，通常向用戶提供驗(yàn)證碼圖像和行為指令，用戶需要根據(jù)行為指令在驗(yàn)證碼上進(jìn)行規(guī)定動(dòng)作以完成驗(yàn)證。騰訊數(shù)美百度頂象

滑動(dòng)控制圖形碎片的滑塊完成拼圖除圖形碎片對(duì)應(yīng)的缺口外，圖片中還存在干擾缺口滑動(dòng)滑塊直至將圖片旋轉(zhuǎn)至正向滑動(dòng)滑塊直至將中心圖案還原至與背景契合的正確方向滑動(dòng)驗(yàn)證碼網(wǎng)易Gao’sCAPTCHACapyCAPTCHAHamid’sCAPTCHA

交換兩個(gè)圖片碎片，使圖片復(fù)原交換圖塊復(fù)原圖像，圖塊邊緣進(jìn)行了添加噪聲處理

將下方展示的拼圖拖動(dòng)至圖片缺省處，復(fù)原圖像將左側(cè)四個(gè)圖塊復(fù)原成右側(cè)展示圖像拼圖驗(yàn)證碼拖拽驗(yàn)證碼VAPTCHAMotionCAPTCHA

觀察圖片中給出的軌跡，拖拽鼠標(biāo)繪制相同軌跡拖拽鼠標(biāo)繪制圖中給出的圖形行為驗(yàn)證碼行為驗(yàn)證碼不僅依賴用戶對(duì)圖像的感知和處理能力，并且依靠用戶使用鼠標(biāo)產(chǎn)生的行為動(dòng)作對(duì)用戶身份進(jìn)行驗(yàn)證，相較于圖像驗(yàn)證碼而言，行為驗(yàn)證碼具有更高的安全性；此外，行為驗(yàn)證碼基于人的行為產(chǎn)生，不需要用戶具備額外知識(shí)，覆蓋人群更廣，易用性較好。優(yōu)勢(shì)行為驗(yàn)證碼以圖像為媒介，某些行為驗(yàn)證碼對(duì)視力障礙人群并不友好；并且，為了通過行為驗(yàn)證碼，用戶需要使用鼠標(biāo)完成動(dòng)作，而部分驗(yàn)證碼為提高安全性設(shè)計(jì)出較為復(fù)雜的行為指令，需要用戶花費(fèi)更多時(shí)間通過驗(yàn)證碼；最后，行為驗(yàn)證碼不僅需要提供圖像資源，同時(shí)需要分析用戶行為結(jié)果以進(jìn)行身份判定，這一過程要求更高的成本，因此較傳統(tǒng)驗(yàn)證碼，行為驗(yàn)證碼部署更加復(fù)雜。缺陷無感知驗(yàn)證reCAPTCHA需要用戶點(diǎn)擊“進(jìn)行人機(jī)身份驗(yàn)證”或“我不是機(jī)器人”的復(fù)選框，后臺(tái)系統(tǒng)會(huì)自動(dòng)收集與用戶行為相關(guān)的信息，如鼠標(biāo)移動(dòng)、點(diǎn)擊位置、在復(fù)選框上停留時(shí)間等，并根據(jù)這些信息對(duì)用戶身份進(jìn)行判定。其他驗(yàn)證碼(a)NoCAPTCHAreCAPTCHA(b)InvisiblereCAPTCHA對(duì)抗驗(yàn)證碼為了解決傳統(tǒng)驗(yàn)證碼易被機(jī)器學(xué)習(xí)攻擊的問題，對(duì)抗驗(yàn)證碼應(yīng)運(yùn)而生；2017年，Osadchy等人首次將對(duì)抗樣本應(yīng)用于驗(yàn)證碼設(shè)計(jì)，提出一種基于物體分類的對(duì)抗圖像驗(yàn)證碼——DeepCAPTCHA。其他驗(yàn)證碼DeepCAPTCHA對(duì)抗樣本2.3驗(yàn)證碼安全性作為一種網(wǎng)絡(luò)系統(tǒng)安全保護(hù)機(jī)制，驗(yàn)證碼本身具有與生俱來的安全屬性，與其他網(wǎng)絡(luò)安全機(jī)制一樣面臨被攻擊的安全風(fēng)險(xiǎn)，并需要對(duì)如何有效防御的問題進(jìn)行研究。文本驗(yàn)證碼安全性1)多步攻擊針對(duì)文本驗(yàn)證碼自動(dòng)破解的實(shí)際任務(wù)是識(shí)別圖像中的文字內(nèi)容，由于早期的光學(xué)字符識(shí)別技術(shù)難以同時(shí)應(yīng)對(duì)多個(gè)字符識(shí)別，早期的文本驗(yàn)證碼破解，主要包含三個(gè)步驟。文本驗(yàn)證碼分步破解流程2)端到端攻擊分步破解方法雖然能夠成功破解文本驗(yàn)證碼，但是其步驟相對(duì)繁瑣，且每一步的結(jié)果會(huì)直接影響下一步的效果，導(dǎo)致最終整體的破解成功率非常不穩(wěn)定。能否對(duì)單張驗(yàn)證碼所有文本進(jìn)行一次性端到端識(shí)別，成為了新的討論焦點(diǎn)。RNN和注意力機(jī)制的提出，解決了這個(gè)問題。傳統(tǒng)的CNN雖然無法對(duì)多個(gè)字符同步識(shí)別，但是引入長(zhǎng)短期記憶LSTM、RNN之后的深度神經(jīng)網(wǎng)絡(luò)，能夠?qū)ψ址蛄羞M(jìn)行時(shí)序處理，從而達(dá)到完整識(shí)別的目的。文本驗(yàn)證碼安全性①

CRNN將卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）相結(jié)合，首先使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證碼圖像的特征提取工作，其次使用循環(huán)神經(jīng)網(wǎng)絡(luò)的不同存儲(chǔ)單元連接文本序列，計(jì)算每個(gè)字符的權(quán)重。文本驗(yàn)證碼安全性CRNN考慮到自然場(chǎng)景下文本形式變化、光照、遮擋等因素；不需要人工對(duì)字符進(jìn)行逐個(gè)標(biāo)注，可以以序列標(biāo)注的方式進(jìn)行訓(xùn)練，大大降低了工作量；使用雙向LSTM循環(huán)網(wǎng)絡(luò)進(jìn)行時(shí)序訓(xùn)練，并引入CTC損失函數(shù)來實(shí)現(xiàn)端到端變長(zhǎng)序列數(shù)據(jù)處理，是當(dāng)前文本識(shí)別領(lǐng)域最優(yōu)模型之一。②

注意力機(jī)制賴于循環(huán)神經(jīng)網(wǎng)絡(luò)在特征序列上產(chǎn)生注意力向量，然后按順序?qū)γ總€(gè)字符進(jìn)行分類，以實(shí)現(xiàn)特征提取到分類的一步操作。隨著圖像分辨率升高，神經(jīng)網(wǎng)絡(luò)處理圖像分類任務(wù)時(shí)計(jì)算量成線性增長(zhǎng)，借鑒人類處理圖像時(shí)利用直覺注意力把握重點(diǎn)信息的思路，深度學(xué)習(xí)中提出提取關(guān)鍵信息，聯(lián)合構(gòu)建整體信息的Attention機(jī)制。文本驗(yàn)證碼安全性Attention機(jī)制應(yīng)用于文本驗(yàn)證碼一步破解③MaskR-CNN結(jié)合實(shí)例分割的深度對(duì)象檢測(cè)網(wǎng)絡(luò)也可以處理基于文本的驗(yàn)證碼破解工作，如FasterRCNN網(wǎng)絡(luò)。該方法從檢測(cè)網(wǎng)絡(luò)輸出的物體邊界框和分類標(biāo)簽學(xué)習(xí)物體定位和分類，測(cè)試時(shí)即可完成字符定位到分類的一步實(shí)現(xiàn)。增加了用于提高分類精度的Mask分支，根據(jù)分類得到的物體種類選擇Mask產(chǎn)生二值掩模，最終分類取決于掩模預(yù)測(cè)。這樣避免了類間競(jìng)爭(zhēng)，達(dá)到了比其他目標(biāo)檢測(cè)網(wǎng)絡(luò)更高的精確度。文本驗(yàn)證碼安全性使用MaskR-CNN端到端破解文本驗(yàn)證碼④

遷移學(xué)習(xí)基于深度學(xué)習(xí)的方法雖然高效，但是由于深度識(shí)別模型需要大量樣本集來完成訓(xùn)練，而在現(xiàn)實(shí)情況中，受到網(wǎng)頁多方限制，收集真實(shí)樣本并非易事，且對(duì)收集到的數(shù)據(jù)進(jìn)行標(biāo)簽標(biāo)注也需要耗費(fèi)人力成本。如何解決模型對(duì)樣本的需求從而真正提高破解效率成為了新的破解瓶頸。遷移學(xué)習(xí)的應(yīng)用有效解決了這個(gè)難題。文本驗(yàn)證碼安全性基于遷移學(xué)習(xí)的文本驗(yàn)證碼破解圖像驗(yàn)證碼安全性1）針對(duì)基于物體分類的圖像驗(yàn)證碼破解基于物體分類的圖像驗(yàn)證碼通常向用戶給出一系列圖像，要求用根據(jù)提示選出包含對(duì)應(yīng)物體的圖像以通過測(cè)試。實(shí)現(xiàn)這類驗(yàn)證碼的破解面臨三個(gè)問題：驗(yàn)證碼提示語句和圖像標(biāo)簽都難以直接運(yùn)用到監(jiān)督學(xué)習(xí)中；沒有預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)可用于提示語句和圖像的識(shí)別；需要實(shí)現(xiàn)高效、實(shí)時(shí)的驗(yàn)證碼破解。12306圖像驗(yàn)證碼破解流程圖像驗(yàn)證碼安全性2）針對(duì)基于細(xì)節(jié)感知的圖像驗(yàn)證碼破解基于細(xì)節(jié)感知的驗(yàn)證碼通常包含復(fù)雜的背景圖像，需要用戶根據(jù)提示仔細(xì)觀察圖像并提取細(xì)節(jié)信息，最終確定答案在圖像中的位置以通過測(cè)試。為了通過測(cè)試，用戶需要根據(jù)提示按順序點(diǎn)擊驗(yàn)證碼圖像中的小圖標(biāo)以通過測(cè)試。針對(duì)此類驗(yàn)證碼的破解可以分為兩個(gè)階段：預(yù)處理和求解。二階段破解基于點(diǎn)擊的細(xì)節(jié)感知圖像驗(yàn)證碼基于點(diǎn)擊的細(xì)節(jié)感知圖像驗(yàn)證碼圖像驗(yàn)證碼安全性3）針對(duì)基于視覺推理的圖像驗(yàn)證碼破解基于視覺推理的驗(yàn)證碼可以使用模塊化和端到端方法破解。模塊化方法分別從驗(yàn)證碼提示語句和驗(yàn)證碼圖像出發(fā)，分為語義解析、物體檢測(cè)、物體分類、整合四個(gè)模塊。語義解析模塊負(fù)責(zé)推理完成任務(wù)所需的推理步驟，檢測(cè)和分類模塊定位前景對(duì)象并提取每個(gè)對(duì)象的顏色、形狀、大小、位置等信息，集成模塊參考語義解析模塊得到的推理過程綜合所有對(duì)象屬性得到最終預(yù)測(cè)答案。針對(duì)視覺推理驗(yàn)證碼的模塊化攻擊針對(duì)視覺推理驗(yàn)證碼的端到端攻擊圖像驗(yàn)證碼安全性4）針對(duì)基于語義提取的圖像驗(yàn)證碼破解基于語義提取的圖像驗(yàn)證碼依靠人類對(duì)視頻的處理理解能力設(shè)計(jì)。2019年提出一種多模態(tài)語義注意網(wǎng)絡(luò)（MSAN），使用編碼-解碼器框架可實(shí)現(xiàn)對(duì)視頻的語義提取。視頻語義提取音頻驗(yàn)證碼安全性自動(dòng)語音識(shí)別是一種允許機(jī)器識(shí)別人類語音語義的技術(shù)，當(dāng)前各個(gè)平臺(tái)都有大量的自動(dòng)語音識(shí)別（ASR）系統(tǒng)。典型傳統(tǒng)的自動(dòng)語音識(shí)別系統(tǒng)主要包含基于預(yù)訓(xùn)練的模型的特征提取和解碼兩個(gè)部分。自動(dòng)語音識(shí)別自動(dòng)語音識(shí)別系統(tǒng)的體系結(jié)構(gòu)語音驗(yàn)證碼破解流程攻擊主要包括三個(gè)部分：第一個(gè)部分負(fù)責(zé)瀏覽器自動(dòng)化，處理所有與瀏覽器相關(guān)的操作，包括爬取網(wǎng)頁，提取音頻驗(yàn)證碼，下載音頻等操作，并且避免被驗(yàn)證碼服務(wù)當(dāng)中的機(jī)器人檢測(cè)到；第二個(gè)部分是將音頻記錄傳遞到語音識(shí)別服務(wù)進(jìn)行的一系列必要的預(yù)處理和配置操作；第三個(gè)部分是進(jìn)行音頻轉(zhuǎn)錄后的文本的后處理，準(zhǔn)備將轉(zhuǎn)錄文本提交給語音驗(yàn)證碼服務(wù)。其他驗(yàn)證碼安全性兩階段破解方法適用于大多數(shù)行為驗(yàn)證碼破解：預(yù)處理進(jìn)行定位；模擬用戶行為完成測(cè)試。行為驗(yàn)證碼兩階段破解行為驗(yàn)證碼利用人類的推理能力和解決問題能力來構(gòu)建安全屏障以區(qū)分人機(jī)；對(duì)問題中的語義進(jìn)行解析后再對(duì)視覺內(nèi)容部分進(jìn)行檢測(cè)識(shí)別，結(jié)合人類行為模擬操作也可實(shí)現(xiàn)自動(dòng)完成。游戲驗(yàn)證碼游戲驗(yàn)證碼破解分析文本驗(yàn)證碼和圖像驗(yàn)證碼經(jīng)過多年的探索和驗(yàn)證，符合多重要求，也具有最多的理論研究和實(shí)踐經(jīng)驗(yàn)支撐、十分成熟的人機(jī)認(rèn)證機(jī)制。但是目前的文本和圖像驗(yàn)證碼，均面臨深度學(xué)習(xí)自動(dòng)攻擊的嚴(yán)峻挑戰(zhàn)，如何尋找新的技術(shù)和其相融合從而抵抗現(xiàn)有深度學(xué)習(xí)技術(shù)的攻擊，是文本和圖像驗(yàn)證碼未來發(fā)展的重要方向。對(duì)于語音驗(yàn)證碼，由于其受到使用場(chǎng)景的限制，在實(shí)際生活中并不常見，一般只用于網(wǎng)頁中作為視覺障礙人群的輔助驗(yàn)證。聲紋驗(yàn)證是未來的發(fā)展方向，然而語音驗(yàn)證碼更大的挑戰(zhàn)仍然是在于使用場(chǎng)景限制問題。行為驗(yàn)證碼、游戲驗(yàn)證碼、推理驗(yàn)證碼等其他驗(yàn)證碼在實(shí)際場(chǎng)景中也并不常見，這些驗(yàn)證碼雖然形式更加新穎，自動(dòng)破解難度更大，但是他們更多受限于用戶接受程度和實(shí)際部署難度，因此更多的考慮如何平衡可用性和安全性，降低操作復(fù)雜度，提高用戶可接受心理，是未來發(fā)展的主要方向。2.4驗(yàn)證碼的未來發(fā)展方向和挑戰(zhàn)03短信驗(yàn)證碼短信驗(yàn)證碼短信驗(yàn)證碼是指利用手機(jī)端短信通信服務(wù)來完成用戶身份認(rèn)證的驗(yàn)證方式。首先用戶在操作頁面確認(rèn)發(fā)送短信驗(yàn)證碼服務(wù)，系統(tǒng)通過動(dòng)態(tài)給用戶手機(jī)發(fā)送特定字符或數(shù)字驗(yàn)證碼，隨后通過校驗(yàn)用戶的回答內(nèi)容確定用戶真實(shí)身份。短信驗(yàn)證碼服務(wù)流程圖短信驗(yàn)證碼特性：通過短信進(jìn)行二次驗(yàn)證,是成本最低,最簡(jiǎn)單便捷的驗(yàn)證方式；手機(jī)的普及也使的短信驗(yàn)證碼最容易被用戶廣泛接受。通過運(yùn)營(yíng)商服務(wù)和個(gè)人手機(jī)號(hào)來確認(rèn)用戶身份，其目標(biāo)針對(duì)性較強(qiáng)，安全性程度也相對(duì)更高。短信驗(yàn)證碼還能實(shí)現(xiàn)無密碼登錄，即在掌握手機(jī)號(hào)碼的前提下，也能讓用戶不輸賬號(hào)而通過手機(jī)號(hào)發(fā)送短信驗(yàn)證碼的形式直接登陸，手機(jī)只要收到系統(tǒng)發(fā)送的驗(yàn)證碼，就可以實(shí)現(xiàn)快速登陸。3第六章身份認(rèn)證中對(duì)抗性攻擊和防御目錄CONTENTS04對(duì)抗攻擊05對(duì)抗防御01章節(jié)結(jié)構(gòu)02章節(jié)背景03背景術(shù)語06身份認(rèn)證中的對(duì)抗攻擊07身份認(rèn)證中的對(duì)抗防御01章節(jié)結(jié)構(gòu)背景知識(shí)術(shù)語概念對(duì)抗攻擊/防御身份認(rèn)證中的對(duì)抗攻擊/防御介紹章節(jié)的背景知識(shí)以及相關(guān)的概念。介紹對(duì)抗攻擊以及對(duì)抗防御的常見類型。對(duì)章節(jié)中涉及的主要術(shù)語進(jìn)行解釋說明。介紹身份認(rèn)證中對(duì)抗攻擊以及對(duì)抗防御的常見形式。01章節(jié)結(jié)構(gòu)02章節(jié)背景02章節(jié)背景近年來，許多生物特征認(rèn)證系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)進(jìn)行開發(fā)，受益于深度學(xué)習(xí)模型的高效率和高準(zhǔn)確度，生物特征認(rèn)證系統(tǒng)得到了長(zhǎng)足的發(fā)展。然而，面對(duì)惡意攻擊、強(qiáng)噪聲等干擾因素，其識(shí)別準(zhǔn)確度較低，魯棒性不足的問題也亟需解決。深度神經(jīng)網(wǎng)絡(luò)易受到對(duì)抗樣本干擾的弊端，即在輸入數(shù)據(jù)中施加微小擾動(dòng)來誘騙模型產(chǎn)生錯(cuò)誤輸出。一方面對(duì)抗樣本的存在揭示了深度學(xué)習(xí)模型的可解釋性不足，使得實(shí)際部署的單功能深度神經(jīng)網(wǎng)絡(luò)存在嚴(yán)重的安全隱患；另一方面從以攻促防的應(yīng)用前景來看，生成對(duì)抗樣本的對(duì)抗攻擊算法也已經(jīng)成為近年來深度學(xué)習(xí)領(lǐng)域炙手可熱的研究熱點(diǎn)。鑒于此，本章節(jié)將主要圍繞對(duì)抗樣本展開，對(duì)已經(jīng)被提出的一些經(jīng)典的、具有一定代表性的攻擊技術(shù)以及其相對(duì)應(yīng)的防御手段進(jìn)行梳理總結(jié)，并簡(jiǎn)要介紹其在身份認(rèn)證中的發(fā)展及變體。03背景術(shù)語由對(duì)抗攻擊所生成的有害樣本，可以誤導(dǎo)模型進(jìn)行錯(cuò)誤分類，人眼無法識(shí)別出對(duì)抗樣本和干凈樣本。對(duì)抗樣本針對(duì)某張干凈樣本以某種攻擊形式添加對(duì)抗性擾動(dòng)以生成對(duì)抗樣本，分為有目標(biāo)攻擊以及無目標(biāo)攻擊。對(duì)抗攻擊針對(duì)對(duì)抗攻擊進(jìn)行主動(dòng)或是被動(dòng)的防御以緩解對(duì)抗攻擊對(duì)模型預(yù)測(cè)分類結(jié)果的不良影響。對(duì)抗防御03背景術(shù)語04對(duì)抗攻擊與訓(xùn)練神經(jīng)網(wǎng)絡(luò)類似的思想類似?；趦?yōu)化擾動(dòng)的攻擊方法將對(duì)抗樣本的生成過程可定義為求解一個(gè)優(yōu)化問題，通過固定模型及其超參數(shù)，依據(jù)某種優(yōu)化策略搜索足以改變模型預(yù)測(cè)的最小擾動(dòng)。C&W攻擊、EAD攻擊基于優(yōu)化擾動(dòng)的攻擊方法基于約束擾動(dòng)的攻擊放寬了限制條件，將擾動(dòng)大小設(shè)置為優(yōu)化問題的約束，常常通過對(duì)擾動(dòng)進(jìn)行裁剪操作滿足擾動(dòng)閾值的限制。該類攻擊通常依托于損失函數(shù)的梯度信息尋找可行擾動(dòng)。FGSM攻擊、PGD攻擊基于約束擾動(dòng)的攻擊基于決策邊界的攻擊方法放棄了復(fù)雜的優(yōu)化問題求解思路，轉(zhuǎn)而去在尋找距離樣本最近的某類決策邊界。通過跨越?jīng)Q策邊界，改變模型的預(yù)測(cè)結(jié)果來找到合適的對(duì)抗樣本，從而完成對(duì)抗攻擊。DeepFool、UAP攻擊基于決策邊界的攻擊方法不同于傳統(tǒng)攻擊對(duì)所有像素進(jìn)行修改，其他白盒攻擊對(duì)像素?cái)_動(dòng)進(jìn)行的限制，從全局的擾動(dòng)添加變?yōu)榱藢Ｗ⒂趥€(gè)別像素的修改。這樣攻擊者更有針對(duì)性地添加擾動(dòng)，減少對(duì)原本干凈樣本的修改痕跡。One-pixel、JSMA攻擊其他白盒攻擊方法04白盒攻擊白盒攻擊通過深入訪問和利用機(jī)器學(xué)習(xí)模型的內(nèi)部結(jié)構(gòu)和參數(shù)信息來生成對(duì)抗樣本。攻擊者能夠獲取模型的權(quán)重、梯度等詳細(xì)信息，并利用這些信息設(shè)計(jì)輸入數(shù)據(jù)的微小擾動(dòng)，使模型產(chǎn)生錯(cuò)誤預(yù)測(cè)?；诎缀泄舻膬?yōu)越性能以及神經(jīng)網(wǎng)絡(luò)的可遷移，基于遷移的攻擊旨在利用替代數(shù)據(jù)集自行訓(xùn)練一個(gè)替代神經(jīng)網(wǎng)絡(luò)，并對(duì)其進(jìn)行白盒攻擊，再將得到的對(duì)抗樣本用于攻擊目標(biāo)黑盒模型。DI-FGSM、SMBEA基于遷移的攻擊基于預(yù)測(cè)軟標(biāo)簽的攻擊方旨在利用黑盒模型輸出的概率分布信息（軟標(biāo)簽），逐步調(diào)整輸入數(shù)據(jù)的微小擾動(dòng)，以最大化目標(biāo)類的概率或最小化真實(shí)類的概率，從而迫使模型做出錯(cuò)誤預(yù)測(cè)。ZOO攻擊、AutoZOOM基于預(yù)測(cè)軟標(biāo)簽的攻擊與軟標(biāo)簽不同，基于硬標(biāo)簽的攻擊僅能使用模型給出的類別標(biāo)簽（硬標(biāo)簽），是最為嚴(yán)苛的攻擊約束設(shè)定?；诖斯粽咭话銖囊粋€(gè)擾動(dòng)極大的初始樣本出發(fā)，在模型決策邊界附近游走以最小化有效擾動(dòng)。RGF攻擊、HSJA攻擊基于預(yù)測(cè)硬標(biāo)簽的攻擊其他黑盒攻擊旨在將黑盒攻擊與各領(lǐng)域結(jié)合以發(fā)掘新的攻擊方法。比較典型的例子如使用生成對(duì)抗網(wǎng)絡(luò)來生成與模型無關(guān)的對(duì)抗樣本；或是將貝葉斯優(yōu)化與黑盒攻擊相結(jié)合以降低搜索空間的維度進(jìn)行高效搜索。AdvGAN、BO-ATP其他黑盒攻擊方法04黑盒攻擊黑盒攻擊通過無需訪問機(jī)器學(xué)習(xí)模型內(nèi)部結(jié)構(gòu)和參數(shù)信息，僅依賴輸入輸出行為來生成對(duì)抗樣本。攻擊者通過觀察模型對(duì)不同輸入的預(yù)測(cè)結(jié)果，逐步調(diào)整輸入數(shù)據(jù)的微小擾動(dòng)，使模型產(chǎn)生錯(cuò)誤預(yù)測(cè)。05對(duì)抗防御基于壓縮與變換的防御通過對(duì)輸入數(shù)據(jù)進(jìn)行壓縮和變換來抵御對(duì)抗攻擊。壓縮操作可以移除輸入數(shù)據(jù)中的微小擾動(dòng)，而變換操作則改變數(shù)據(jù)的空間結(jié)構(gòu)，從而達(dá)到破壞對(duì)抗樣本的效果。JEPG壓縮、ComDefend基于壓縮與變換的防御基于破壞與重構(gòu)的防御通過對(duì)輸入數(shù)據(jù)進(jìn)行破壞和重構(gòu)來抵御對(duì)抗攻擊。破壞操作可以有效削弱對(duì)抗擾動(dòng)，而重構(gòu)操作又起到了恢復(fù)數(shù)據(jù)的關(guān)鍵特征的作用，從而提高模型的魯棒性和安全性。ME-Net、CIIDefence基于破壞與重構(gòu)的防御基于檢測(cè)器的防御通過某種算法來訓(xùn)練專門的檢測(cè)模型來識(shí)別和過濾對(duì)抗樣本。檢測(cè)器分析輸入數(shù)據(jù)的特征，以區(qū)分正常樣本和對(duì)抗樣本，從而在對(duì)抗樣本進(jìn)入主模型之前進(jìn)行攔截或標(biāo)記。MagNet檢測(cè)器基于檢測(cè)器的防御除了常見的三種主動(dòng)防御方法，通過發(fā)掘模型與數(shù)據(jù)中更深層次的信息以解釋對(duì)抗樣本與干凈樣本的差異，或是與前沿各種領(lǐng)域的新技術(shù)相結(jié)合，一些新的主動(dòng)檢測(cè)對(duì)抗樣本的防御策略也逐漸被提出。HGD降噪、Defense-GAN其他主動(dòng)防御方法05基于預(yù)處理的主動(dòng)防御基于預(yù)處理的主動(dòng)防御是一種通過在輸入數(shù)據(jù)進(jìn)入機(jī)器學(xué)習(xí)模型之前對(duì)其進(jìn)行處理，以抵御對(duì)抗攻擊的方法。這種防御機(jī)制通過在輸入數(shù)據(jù)上施加特定的變換，如圖像去噪、裁剪、縮放、平滑濾波、隨機(jī)噪聲添加等，使得對(duì)抗樣本的效果減弱或失效?；谀Ｐ驼麴s的防御通過訓(xùn)練一個(gè)更小、更平滑的學(xué)生模型來模仿原始復(fù)雜的教師模型，從而增強(qiáng)魯棒性。蒸餾過程減少模型對(duì)輸入擾動(dòng)的敏感性，使得微量擾動(dòng)對(duì)模型無效，提高其抵御對(duì)抗攻擊的能力。DefensiveDistillation基于模型蒸餾的防御考慮到對(duì)抗樣本的一個(gè)特點(diǎn)是其擾動(dòng)幅度十分微小，因此基于梯度正則化的防御會(huì)懲罰輸入的微小變化，從而使得在模型的訓(xùn)練階段就引導(dǎo)模型的梯度向著無視微小變化的方向變化，從而防御對(duì)抗樣本。GradientRegularization基于梯度正則化的防御在對(duì)抗訓(xùn)練中，訓(xùn)練目標(biāo)模型所需要的數(shù)據(jù)集由對(duì)抗樣本和原始數(shù)據(jù)集共同構(gòu)成。在訓(xùn)練過程中，模型不僅會(huì)接觸到干凈的原始樣本，同時(shí)也會(huì)接觸到含有對(duì)抗擾動(dòng)的對(duì)抗樣本，以此來提升模型的魯棒性。TRADES、MART基于對(duì)抗訓(xùn)練的防御對(duì)抗訓(xùn)練普遍被認(rèn)為是最有效的防御策略，但生成對(duì)抗樣本卻需要計(jì)算開銷。基于此，針對(duì)早期使用原始PGD方式生成對(duì)抗樣本效率低的問題，各種新的生成方法被提出以提高對(duì)抗訓(xùn)練的整體效率。FreeAT、FreeLB對(duì)抗訓(xùn)練的改進(jìn)05基于正則化的被動(dòng)防御基于正則化的被動(dòng)防御通過在模型訓(xùn)練過程中引入約束，限制模型的復(fù)雜度和靈活性，從而增強(qiáng)模型的魯棒性和抗攻擊能力。這種防御方法旨在使模型對(duì)輸入數(shù)據(jù)的微小擾動(dòng)不敏感，減少過度擬合的風(fēng)險(xiǎn)，增強(qiáng)模型對(duì)異常輸入的穩(wěn)定性。06身份認(rèn)證中的對(duì)抗攻擊端對(duì)端網(wǎng)絡(luò)在對(duì)抗攻擊章節(jié)已經(jīng)被證實(shí)對(duì)抗樣本缺乏魯棒性，而利用深度特征進(jìn)行生物識(shí)別的系統(tǒng)同樣無法抵御對(duì)抗攻擊。由于GAN網(wǎng)絡(luò)超越傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的特征提取性能，并且能夠按照原樣本的特點(diǎn)生成新的數(shù)據(jù)，GAN也常用于人臉識(shí)別領(lǐng)域生成對(duì)抗樣本。advGan便是其中的代表。針對(duì)人臉識(shí)別模塊的攻擊與針對(duì)人臉識(shí)別模塊的攻擊不同，針對(duì)人臉檢測(cè)模塊的攻擊旨在通過逃避預(yù)處理檢測(cè)器的檢測(cè)而達(dá)成攻擊的目的，針對(duì)的目標(biāo)并不是識(shí)別模型本身。在這種攻擊模式下攻擊者訓(xùn)練一個(gè)生成器來不斷生成對(duì)抗樣本，同時(shí)根據(jù)檢測(cè)器的分類結(jié)果來對(duì)生成器進(jìn)行矯正以達(dá)到最終的檢測(cè)逃避的目的。針對(duì)人臉檢測(cè)模塊的攻擊06針對(duì)人臉識(shí)別的對(duì)抗攻擊數(shù)字域?qū)构艏僭O(shè)攻擊者能夠直接向深度學(xué)習(xí)算法饋入數(shù)字圖像形式的對(duì)抗樣本。攻擊者利用流行的FGSM、PGD等梯度優(yōu)化算法或者GAN網(wǎng)絡(luò)在原始輸入的基礎(chǔ)上生成對(duì)抗樣本。數(shù)字域?qū)构鬭dvGan示意圖檢測(cè)逃避示意圖在數(shù)字域中生成的對(duì)抗樣本同樣可以作用于物理域，但考慮到圖像被捕獲后可能發(fā)生的種種微小變形，需要進(jìn)行一定措施的處理避免對(duì)抗樣本失效。在advHat中，首先對(duì)生成的對(duì)抗圖案做非平面轉(zhuǎn)換，以模仿粘貼至額前可能發(fā)生的形變從而增強(qiáng)對(duì)抗圖案的魯棒性，之后根據(jù)損失函數(shù)更改圖像變動(dòng)的方向，通過迭代優(yōu)化的方式生成對(duì)抗樣本。針對(duì)人臉識(shí)別模塊的攻擊在針對(duì)人臉檢測(cè)模塊的攻擊中，有研究者發(fā)現(xiàn)附著在帽檐上甚至隱藏在發(fā)絲中的紅外線LED燈可以通過投射紅外點(diǎn)至面部關(guān)鍵區(qū)域，微妙地改變目標(biāo)體的面部特征，從而逃避檢測(cè)。相對(duì)于貼紙類攻擊，該種基于紅外的隱形面部變形在擾動(dòng)體量和隱蔽性上都更具優(yōu)勢(shì)。并且無需針對(duì)具體的識(shí)別模型進(jìn)行調(diào)整，具備更高的通用性。針對(duì)人臉檢測(cè)模塊的攻擊06針對(duì)人臉識(shí)別的對(duì)抗攻擊物理域?qū)构絷P(guān)注在真實(shí)目標(biāo)體上部署對(duì)抗樣本，在這種情況下，對(duì)抗樣本總是被攝像頭或傳感器捕獲。在該方面同樣存在很多關(guān)于攻擊方法的研究，相較于數(shù)字域上的攻擊手段，其面臨更多的挑戰(zhàn)，如打印后圖像顏色失真、對(duì)抗圖像的移位旋轉(zhuǎn)及形變、現(xiàn)實(shí)空間中復(fù)雜的光照等。物理域?qū)构鬭dvHat示意圖檢測(cè)逃避所用的LED燈安裝了LED燈的鴨舌帽作為語音身份驗(yàn)證系統(tǒng)防御攻擊的城池堡壘，語音欺騙對(duì)策模塊通常也無法成功抵御對(duì)抗攻擊。Liu等人從完整性考慮，采用快速梯度符號(hào)法（FGSM）和投影梯度下降法（PGD）在白盒和黑盒兩種場(chǎng)景設(shè)置下首次對(duì)語音欺騙對(duì)策模塊的可靠性進(jìn)行評(píng)估，證明深度語音欺騙對(duì)策模塊對(duì)于對(duì)抗音頻的非魯棒性。Andre等開發(fā)了ADVCM作為第一個(gè)針對(duì)語音欺騙對(duì)策模塊的實(shí)際攻擊，以生成對(duì)抗樣本作為攻擊策略，將生成針對(duì)語音欺騙對(duì)策模塊對(duì)抗噪聲的問題歸約為一個(gè)受威脅模型約束的優(yōu)化問題。06針對(duì)語音身份驗(yàn)證平臺(tái)的攻擊方法聲紋識(shí)別的判定機(jī)理建立在未知輸入語音和已注冊(cè)語音的特征相似性上，在一般的聲紋識(shí)別任務(wù)中，對(duì)于真實(shí)的模型攻擊，攻擊者只擾動(dòng)待測(cè)試語音并且保持注冊(cè)語音集的干凈性。在代表性針對(duì)聲紋識(shí)別子系統(tǒng)的FAKEBOB攻擊中，攻擊者將對(duì)抗性樣本的生成公式化為一個(gè)優(yōu)化問題，以平衡對(duì)抗語音的強(qiáng)度和隱蔽性。針對(duì)聲紋識(shí)別子系統(tǒng)的攻擊FAKEBOB示意圖針對(duì)語音欺騙對(duì)策模塊的攻擊ADVCM示意圖作為遠(yuǎn)距離身份認(rèn)證方法之一，行人重識(shí)別是利用計(jì)算機(jī)視覺技術(shù)比對(duì)不同方位角度下行人外表特征，從而判斷圖像或者視頻序列中是否存在某些特定行人的技術(shù)，通常意義上可以認(rèn)為是一個(gè)圖像檢索的子問題，通過檢索跨設(shè)備下的行人圖像，判別目標(biāo)行人是否出現(xiàn)。Zhao等提出一種基于GAN的無監(jiān)督對(duì)抗攻擊方法UAA-GAN，包含生成對(duì)抗樣本的生成器、區(qū)分真?zhèn)螆D像的鑒別器和計(jì)算輸入圖像深度特征的目標(biāo)網(wǎng)絡(luò)，其在攻擊行人重識(shí)別模型方面有著不俗的表現(xiàn)。06針對(duì)遠(yuǎn)距離識(shí)別技術(shù)的攻擊方法步態(tài)識(shí)別是一種新興的生物特征辨別技術(shù)，旨在利用人類行走的姿態(tài)實(shí)現(xiàn)身份辨識(shí)，相較于其他的生物識(shí)別技術(shù)，步態(tài)識(shí)別有著非接觸式遠(yuǎn)距離的優(yōu)勢(shì)，其在社會(huì)治安、遠(yuǎn)程監(jiān)視領(lǐng)域有著廣泛的應(yīng)用。Jia等人提出一種結(jié)合GAN在合成視頻方面的優(yōu)勢(shì)與步態(tài)識(shí)別中先驗(yàn)知識(shí)的攻擊方法，從特定目標(biāo)的源步態(tài)序列和目標(biāo)場(chǎng)景圖像中渲染出偽造視頻。針對(duì)步態(tài)識(shí)別的攻擊步態(tài)識(shí)別生成器示意圖針對(duì)行人重識(shí)別的攻擊UA