人工智能安全：原理與實(shí)踐 課件 第2章 生成對(duì)抗網(wǎng)絡(luò)的安全應(yīng)用(2.3基于對(duì)抗性攻擊無(wú)數(shù)據(jù)替代訓(xùn)練的模型竊取-實(shí)踐)

李劍博士，教授，博士生導(dǎo)師網(wǎng)絡(luò)空間安全學(xué)院lijian@January23,2025第二章生成對(duì)抗網(wǎng)絡(luò)的安全應(yīng)用實(shí)踐2-2基于對(duì)抗性攻擊無(wú)數(shù)據(jù)替代訓(xùn)練的模型竊取本章介紹本實(shí)踐內(nèi)容主要是利用專門設(shè)計(jì)的生成對(duì)抗網(wǎng)絡(luò)GANs來(lái)訓(xùn)練替代模型，從而對(duì)目標(biāo)模型進(jìn)行竊取。本實(shí)踐的難度較大，主要困難在于需要大量的算力資源，感興趣的同學(xué)可以自己購(gòu)買算力資源進(jìn)行實(shí)踐。如果沒有條件，可以使用本教材提供的已經(jīng)訓(xùn)練好的模型進(jìn)行實(shí)踐(詳見本教材網(wǎng)盤)。1.實(shí)踐概述本實(shí)踐使用了一種無(wú)數(shù)據(jù)替代訓(xùn)練方法（DaST），無(wú)需任何真實(shí)數(shù)據(jù)即可獲得對(duì)抗性黑盒攻擊的替代模型。為了實(shí)現(xiàn)這一目標(biāo)，DaST利用專門設(shè)計(jì)的生成對(duì)抗網(wǎng)絡(luò)(GANs)來(lái)訓(xùn)練替代模型。特別是，為生成模型設(shè)計(jì)了多分支架構(gòu)和標(biāo)簽控制損失，以處理合成樣本分布不均勻的問題。然后，替代模型通過生成模型生成的合成樣本進(jìn)行訓(xùn)練，這些樣本隨后由被攻擊模型進(jìn)行標(biāo)記。實(shí)踐表明，DaST生成的替代模型與使用相同訓(xùn)練集（被攻擊模型的訓(xùn)練集）訓(xùn)練的基線模型相比，可以達(dá)到具有競(jìng)爭(zhēng)力的表現(xiàn)。此外，為了評(píng)估所提方法在實(shí)際任務(wù)中的實(shí)用性，本實(shí)踐內(nèi)容設(shè)計(jì)攻擊了MicrosoftAzure平臺(tái)上的在線機(jī)器學(xué)習(xí)模型。該遠(yuǎn)程模型對(duì)偽造的98.35%的對(duì)抗樣本進(jìn)行了錯(cuò)誤分類。1.實(shí)踐概述本實(shí)踐內(nèi)容主要是對(duì)抗性無(wú)數(shù)據(jù)模仿，它主要涉及對(duì)抗性輸入的生成和利用，這是一種專門設(shè)計(jì)的輸入，旨在確保被誤分類以躲避檢測(cè)。它的流程如圖所示：3.對(duì)抗性攻擊對(duì)抗性攻擊就是通過對(duì)抗性例子來(lái)攻擊神經(jīng)網(wǎng)絡(luò)。根據(jù)對(duì)抗性攻擊的特點(diǎn)和攻擊效果，對(duì)抗性攻擊可分為黑盒攻擊和白盒攻擊、單步攻擊和迭代攻擊、目標(biāo)攻擊和非目標(biāo)攻擊、特定擾動(dòng)和通用擾動(dòng)等。本實(shí)踐主要涉及到以下兩種攻擊：1.白盒攻擊：攻擊者可以獲得目標(biāo)模型的完整結(jié)構(gòu)和參數(shù)，包括訓(xùn)練數(shù)據(jù)、梯度信息和激活函數(shù)等。

2.黑盒攻擊：攻擊者無(wú)法訪問深度神經(jīng)網(wǎng)絡(luò)模型，從而無(wú)法獲取模型結(jié)構(gòu)和參數(shù)，只能通過將原始數(shù)據(jù)輸入到目標(biāo)模型中來(lái)獲取目標(biāo)模型的輸出結(jié)果，并根據(jù)結(jié)果來(lái)想方設(shè)法進(jìn)行攻擊。4.對(duì)抗性生成器-分類器訓(xùn)練使用無(wú)數(shù)據(jù)替代訓(xùn)練（DaST）方法進(jìn)行對(duì)抗生成器-分類器訓(xùn)練的過程不需要任何真實(shí)數(shù)據(jù)，主要通過生成模型??來(lái)創(chuàng)造合成訓(xùn)練數(shù)據(jù)，以此來(lái)訓(xùn)練替代模型??。具體步驟如下：1.生成合成數(shù)據(jù)：生成模型??從輸入空間隨機(jī)采樣噪聲向量??，并生成數(shù)據(jù)。2.模型訓(xùn)練：生成的數(shù)據(jù)被用來(lái)探測(cè)被攻擊模型??的輸出。替代模型??則使用這些由??生成的數(shù)據(jù)和??的輸出作為訓(xùn)練對(duì)來(lái)進(jìn)行訓(xùn)練。3.目標(biāo)和損失函數(shù)：生成模型??的目標(biāo)是創(chuàng)造出能夠探索??與??之間差異的新樣本，而??的目標(biāo)是模仿??的輸出。4.標(biāo)簽控制的數(shù)據(jù)生成：為了解決生成的樣本分布不均勻和類別單一的問題，實(shí)踐設(shè)計(jì)了一個(gè)多分支架構(gòu)和標(biāo)簽控制損失，使得生成模型??能夠產(chǎn)生具有隨機(jī)標(biāo)簽的合成樣本。5.標(biāo)簽可控的數(shù)據(jù)生成這種方法允許生成模型（G）產(chǎn)生帶有隨機(jī)標(biāo)簽的合成樣本，這些標(biāo)簽是被攻擊模型（T）賦予的。核心思想是通過多分支架構(gòu)和標(biāo)簽控制損失（label-controlloss），來(lái)改善合成樣本的分布不均勻問題。具體步驟如下：1.多分支架構(gòu)：2.標(biāo)簽控制損失3.訓(xùn)練過程4.模型優(yōu)化6.實(shí)踐目的1.驗(yàn)證DaST方法的有效性2.評(píng)估不同模型架構(gòu)的影響3.實(shí)踐在現(xiàn)實(shí)世界任務(wù)中的實(shí)用性4.探索無(wú)數(shù)據(jù)訓(xùn)練的潛力5.提高對(duì)抗樣本的轉(zhuǎn)移性7.實(shí)踐環(huán)境 Python版本：3.9或者更高的版本 Pytorch1.11.0 Cuda:11.3.1 GPU:A40（AUTODL云服務(wù)器，若無(wú)條件，可直接對(duì)本地已訓(xùn)練好的模型進(jìn)行評(píng)估）

所需安裝庫(kù)：numpy1.21.5，matplotlib3.4.3，pyqt55.15.2

數(shù)據(jù)集：MNIST、CIFAR-108.實(shí)踐過程第1步：訪問Python官方網(wǎng)站下載Python3.9。選擇相應(yīng)的Windows安裝程序（32位或64位）。下載后，運(yùn)行安裝程序并遵循安裝向?qū)?，勾選“AddPython3.8toPATH”選項(xiàng)并點(diǎn)擊InstallNow，如圖所示。8.實(shí)踐過程第2步：安裝實(shí)踐環(huán)境。安裝numpy1.24.2，pyqt55.15.1，matplotlib3.7.1，在命令行或終端中使用下面指令進(jìn)行安裝。8.實(shí)踐過程第3步：編寫相關(guān)代碼并運(yùn)行，構(gòu)建三個(gè)神經(jīng)網(wǎng)絡(luò)模型。8.實(shí)踐過程第4步：模型訓(xùn)練和測(cè)試8.實(shí)踐過程第5步：評(píng)估神經(jīng)網(wǎng)絡(luò)模型在不同對(duì)抗性攻擊方法下的表現(xiàn)。8.實(shí)踐過程第6步：通過命令行執(zhí)行程序。9.實(shí)踐結(jié)果實(shí)踐結(jié)果。9.實(shí)踐結(jié)果模型準(zhǔn)確率和攻擊成功率。9.實(shí)踐結(jié)果竊取結(jié)果。小結(jié)本實(shí)踐內(nèi)容采用了一種無(wú)數(shù)據(jù)的DaST方法來(lái)訓(xùn)練對(duì)抗攻擊的替代模型。DaST利用GANs生成合成樣本，減少了對(duì)抗性替代攻擊的先決條件。這是一種不需要任何真