2024ChatGPT安全影響分析

ChatGPT安全影響白皮書發(fā)布生成式人工智能白皮書發(fā)布生成式人工智能——ChatGPTChatGPT及其代表的生成式人工智能技術(shù)，越來越易用、好用，如何更會(huì)用，如何避免誤用，對(duì)抗濫用，是整個(gè)行業(yè)共同的話題。目錄目錄ChatGPT等大語言模型的演進(jìn)大語言模型用于網(wǎng)絡(luò)攻擊大語言模型用于網(wǎng)絡(luò)防御大語言模型的安全展望AI:2025年改變世界的10大關(guān)鍵技術(shù)（麥肯錫）AI:2025年改變世界的10大關(guān)鍵技術(shù)（麥肯錫）移動(dòng)互聯(lián)網(wǎng)滲透率進(jìn)一步提升到2025年之前，移動(dòng)互聯(lián)網(wǎng)將服務(wù)于額外43億用戶（原文）

用（智能客服等）活中的廣泛應(yīng)用，將極大提升效率。

所有IT服務(wù)和網(wǎng)站都可能遷移到云隨著公有云安全性改善，更多組織選擇。

物聯(lián)網(wǎng)：500到1000億設(shè)備（2025）組織和個(gè)人將面對(duì)復(fù)

生物識(shí)別：2025年之前消除密碼對(duì)人臉、語音、虹膜、簽名的進(jìn)一步研究.

區(qū)塊鏈：商業(yè)顛覆性技術(shù)在智能合約、商業(yè)交易中的更廣泛應(yīng)用其余包括：虛擬/增強(qiáng)現(xiàn)實(shí)（第3）、先進(jìn)機(jī)器人（第6）、3D打?。ǖ?）、基因技術(shù)（第9）。其余包括：虛擬/增強(qiáng)現(xiàn)實(shí)（第3）、先進(jìn)機(jī)器人（第6）、3D打印（第8）、基因技術(shù)（第9）。不確定性的技術(shù)包括：量子計(jì)算。AI已經(jīng)無處不在AI已經(jīng)無處不在 AI的沿革AI的沿革生成式AI生成式AIGPT-4、Davinci、Curie……深度學(xué)習(xí)作為交叉領(lǐng)域，發(fā)展迅速深度學(xué)習(xí)作為交叉領(lǐng)域，發(fā)展迅速?gòu)?qiáng)化學(xué)習(xí)深度學(xué)習(xí)deep強(qiáng)化學(xué)習(xí)深度學(xué)習(xí)deep監(jiān)督學(xué)習(xí)supervisedunsupervisedMachine是垃圾郵件的訓(xùn)練和判斷。預(yù)測(cè)不準(zhǔn)確可能會(huì)被修正。分類算法：欺詐檢測(cè)、診斷?；貧w算法：預(yù)測(cè)、優(yōu)化、洞察。無監(jiān)督學(xué)習(xí)：沒有已知的結(jié)果。通過借鑒數(shù)據(jù)中存在的結(jié)構(gòu)來開發(fā)一個(gè)聚類或降維的模型。聚類像。降維：大數(shù)據(jù)分析、結(jié)構(gòu)展示強(qiáng)化學(xué)習(xí)：受到行為主義心理學(xué)的啟發(fā)，關(guān)注應(yīng)該如何場(chǎng)景：游戲AI、知識(shí)獲取、機(jī)器人導(dǎo)航。半監(jiān)督學(xué)習(xí)：出時(shí)預(yù)測(cè)器或者分類器。ChatGPT:生成式AI的典型應(yīng)用案例ChatGPT:生成式AI的典型應(yīng)用案例ChatGPTGPTbasedmodelGANChatGPTGPTbasedmodelGANmodelGenerativeAI的基礎(chǔ)模型的基礎(chǔ)模型2017年，Google在一篇論文中描述了轉(zhuǎn)換器模型（Transformer）。2021年，斯坦福大學(xué)的研究人員將描述為AI的基礎(chǔ)模型（Foundationmodels）模式識(shí)別領(lǐng)域，轉(zhuǎn)換器逐漸替代CNN/RNN模型（70%的AI論文）。的應(yīng)用場(chǎng)景 深度學(xué)習(xí)的一個(gè)分支的基礎(chǔ)模型Paper“AttentionIsAllYouNeed”(Google)：我們提出了一個(gè)新的簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)--Transformer，它只基于注意力機(jī)制，完全不需要遞歸和卷積。在兩個(gè)機(jī)器翻譯任務(wù)上的實(shí)驗(yàn)表明，這些模型在質(zhì)量上更勝一籌，同時(shí)也更容易并行化，需要的訓(xùn)練時(shí)間也大大減少。Paper“AttentionIsAllYouNeed”(Google)：我們提出了一個(gè)新的簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)--Transformer，它只基于注意力機(jī)制，完全不需要遞歸和卷積。在兩個(gè)機(jī)器翻譯任務(wù)上的實(shí)驗(yàn)表明，這些模型在質(zhì)量上更勝一籌，同時(shí)也更容易并行化，需要的訓(xùn)練時(shí)間也大大減少。的基礎(chǔ)模型的基礎(chǔ)模型LLM的廣泛應(yīng)用場(chǎng)景LLM的廣泛應(yīng)用場(chǎng)景電子商務(wù) 互聯(lián)網(wǎng)搜索智能問答 科學(xué)研究電子商務(wù)互聯(lián)網(wǎng)搜索智能問答科學(xué)研究DNA排列分析軟件開發(fā)產(chǎn)品營(yíng)銷智能分析客戶反饋金融顧問分析財(cái)務(wù)和歷史數(shù)據(jù)產(chǎn)品營(yíng)銷智能分析客戶反饋金融顧問分析財(cái)務(wù)和歷史數(shù)據(jù)移動(dòng)支付分析欺詐數(shù)據(jù)法律咨詢法律法規(guī)和案例解讀目錄目錄ChatGPT等大語言模型的演進(jìn)大語言模型用于網(wǎng)絡(luò)攻擊大語言模型用于網(wǎng)絡(luò)防御大語言模型的安全展望AI與網(wǎng)絡(luò)安全的關(guān)系A(chǔ)I與網(wǎng)絡(luò)安全的關(guān)系 AI用于攻擊AI用于攻擊 SANSCyberKillChainModel：AI用于攻擊AI用于攻擊枚舉目標(biāo)對(duì)象偵查立足點(diǎn)援助網(wǎng)絡(luò)釣魚多態(tài)代碼枚舉目標(biāo)對(duì)象偵查立足點(diǎn)援助網(wǎng)絡(luò)釣魚多態(tài)代碼nmap 社工AI與網(wǎng)絡(luò)安全AI與網(wǎng)絡(luò)安全AI被攻擊AI被攻擊AI用于攻擊 攻擊AI 竊取AIAI用于攻擊攻擊AI竊取AI公平性LLM的內(nèi)在風(fēng)險(xiǎn)（斯坦福）公平性道德道德濫用AI法律經(jīng)濟(jì)環(huán)境LLM的6維度風(fēng)險(xiǎn)LLM的6維度風(fēng)險(xiǎn)偏見與公平偏見與公平結(jié)果的結(jié)果的誤導(dǎo)誤用與濫用LLM可持續(xù)對(duì)抗攻擊隱私泄露LLM的內(nèi)在風(fēng)險(xiǎn)：公平性LLM的內(nèi)在風(fēng)險(xiǎn)：公平性AI的偏見AI的偏見LLM的內(nèi)在風(fēng)險(xiǎn)：濫用LLM的內(nèi)在風(fēng)險(xiǎn)：濫用 LLM的內(nèi)在風(fēng)險(xiǎn)：濫用案例LLM的內(nèi)在風(fēng)險(xiǎn)：濫用案例生成惡意代碼 定制釣魚郵件 輸入企業(yè)機(jī)密數(shù)據(jù)攻擊AI的方式攻擊AI的方式提取攻擊（Extraction） 閃避攻擊（Evasion） 投毒攻擊（Poisoning）提取攻擊（Extraction）閃避攻擊（Evasion）投毒攻擊（Poisoning）偷數(shù)據(jù) 騙模型 改數(shù)據(jù)LLM攻防對(duì)抗——提取攻擊LLM攻防對(duì)抗——提取攻擊Google,Stanford,UCBerkeley等聯(lián)合發(fā)表的論文“ExtractingTrainingDatafromLargeLanguageModels”指出：通過選擇和批量處理Prompt，可以在用于訓(xùn)練的數(shù)據(jù)集中定位包含個(gè)人信息的樣例（姓名、電話號(hào)碼）。Google,Stanford,UCBerkeley等聯(lián)合發(fā)表的論文“ExtractingTrainingDatafromLargeLanguageModels”指出：通過選擇和批量處理Prompt，可以在用于訓(xùn)練的數(shù)據(jù)集中定位包含個(gè)人信息的樣例（姓名、電話號(hào)碼）。LLM攻防對(duì)抗——閃避攻擊LLM攻防對(duì)抗——閃避攻擊對(duì)ChatGPT類的服務(wù)，繞過（閃避）的機(jī)制更加簡(jiǎn)單。例如，DoAnythingNow；讓AI扮演某個(gè)角色；甚至更換prompt（提問）的方式。【防御】提升安全意識(shí)確保有效的安全措施改進(jìn)AI系統(tǒng)LLM攻防對(duì)抗——投毒攻擊LLM攻防對(duì)抗——投毒攻擊對(duì)ChatGPT類的服務(wù)，已經(jīng)“涌現(xiàn)”多種投毒攻擊方案。例如，封裝ChatGPT服務(wù)以竊取輸入輸出；替換ChatGPT的下載鏈接或者仿冒官網(wǎng)?！痉烙?jī)H使用官方服務(wù)（合法合規(guī)前提）確保有效的連接安全身份認(rèn)證LLM的內(nèi)在風(fēng)險(xiǎn)：環(huán)境影響LLM的內(nèi)在風(fēng)險(xiǎn)：環(huán)境影響總價(jià)值=社會(huì)效益+環(huán)境效益–能源成本–社會(huì)成本（碳排放）–二次影響LLM的內(nèi)在風(fēng)險(xiǎn)：法律風(fēng)險(xiǎn)LLM的內(nèi)在風(fēng)險(xiǎn)：法律風(fēng)險(xiǎn)模型訓(xùn)練 模型預(yù)測(cè) 輸出保護(hù)CFAA“未經(jīng)授權(quán)”訪問服務(wù)器為刑事犯罪【影響】通過網(wǎng)絡(luò)信息爬蟲獲得訓(xùn)練數(shù)據(jù)集的合法性。

隱私法GDPR、CCPA、伊利諾伊生物識(shí)別法【影響】隱私數(shù)據(jù)主體的權(quán)利行使（刪除權(quán)等）。

特定領(lǐng)域法律醫(yī)藥場(chǎng)景的使用，需要監(jiān)管批準(zhǔn)【影響】LLM的標(biāo)準(zhǔn)化部署及安全性。版權(quán)法訓(xùn)練集中的數(shù)據(jù)可能受版權(quán)法甚至知識(shí)產(chǎn)權(quán)法保護(hù)【影響】訓(xùn)練數(shù)據(jù)集的合法性。 版權(quán)法訓(xùn)練集中的數(shù)據(jù)可能受版權(quán)法甚至知識(shí)產(chǎn)權(quán)法保護(hù)【影響】訓(xùn)練數(shù)據(jù)集的合法性。侵權(quán)責(zé)任預(yù)測(cè)的結(jié)果用于決策（自動(dòng)駕駛、醫(yī)療診斷），模型可能承擔(dān)責(zé)任?！居绊憽磕Ｐ皖A(yù)測(cè)的法律侵權(quán)風(fēng)險(xiǎn)。輸出的版權(quán)輸出的結(jié)果（如合成語音）是否有版權(quán)、是否需要披露【影響】輸出結(jié)果的廣泛采用。目錄目錄ChatGPT等大語言模型的演進(jìn)大語言模型用于網(wǎng)絡(luò)攻擊大語言模型用于網(wǎng)絡(luò)防御大語言模型的安全展望LLM用于防御：GoogleSec-PaLM自然語言對(duì)話方式搜索、分析和調(diào)查安全數(shù)據(jù)，縮短事件響應(yīng)時(shí)間……”——Google LLM用于防御：四種武器LLM用于防御：四種武器【檢測(cè)器】惡意軟件/垃圾短信的檢測(cè) 【百科書】可視化和說明安全知識(shí)【自動(dòng)化】收集威脅情報(bào) 【助手】有助于安全分析 LLM用于防御：AI文本檢測(cè)器LLM用于防御：代碼漏洞檢測(cè)器LLM用于防御：信息查詢的百科書LLM用于防御：回答常見信息安全問題的百科書LLM用于防御：威脅情報(bào)的自動(dòng)化與集成LLM用于防御：簡(jiǎn)單重復(fù)操作的助手目錄目錄ChatGPT等大語言模型的演進(jìn)大語言模型用于網(wǎng)絡(luò)攻擊大語言模型用于網(wǎng)絡(luò)防御大語言模型的安全展望數(shù)據(jù)安全的基本模型數(shù)據(jù)安全的基本模型CIA三角 DIKM模型決策 智慧(M)知識(shí)(K)目標(biāo) AI信息(I)關(guān)聯(lián)數(shù)據(jù)(D)負(fù)責(zé)任的AI惡意組織內(nèi)部非惡意惡意組織內(nèi)部非惡意黑客安全研究者威脅來源學(xué)術(shù)/專業(yè)興趣愛好競(jìng)爭(zhēng)對(duì)手網(wǎng)絡(luò)犯罪有組織犯罪、個(gè)人犯罪……AI的6類數(shù)據(jù)資產(chǎn)全景視角AI的6類數(shù)據(jù)資產(chǎn)全景視角案例：案例：ChatGPT3月20日安全漏洞導(dǎo)致部分用戶信息泄露，來自redis-py開源軟件。數(shù)據(jù)：數(shù)據(jù)集：已標(biāo)注數(shù)據(jù)集、公開數(shù)據(jù)集訓(xùn)練數(shù)據(jù)、原始數(shù)據(jù)、測(cè)試數(shù)據(jù)模型：算法：訓(xùn)練算法、預(yù)測(cè)算法、預(yù)處理算法模型：模型參數(shù)、模型調(diào)優(yōu)、訓(xùn)練參數(shù)環(huán)境依賴：云、主機(jī)、庫、存儲(chǔ)通信算法與協(xié)議AI的8種威脅模型全景視角AI的8種威脅模型全景視角威脅：惡意活動(dòng)/濫用：針對(duì)ICT系統(tǒng)、基礎(chǔ)設(shè)施和網(wǎng)絡(luò)的惡意行為，目的是竊取、改變或破壞指定目標(biāo)。竊聽/攔截/通信控制權(quán)的行為。物理攻擊：破壞、暴露、改變、禁用、竊取或未經(jīng)授權(quán)訪問物理資產(chǎn)，如基礎(chǔ)設(shè)施、硬件或互連的行動(dòng)。無意損害障或降低效率的無意行為。故障或失靈：資產(chǎn)(硬件或軟件)部分或全部功能不足。停止服務(wù)：服務(wù)的意外中斷或質(zhì)量下降到要求的水平以下。災(zāi)難：突發(fā)的事故或自然災(zāi)難法律：第三方基于合同的或其他方式的法律訴訟。AI系統(tǒng)的威脅建模方法論（類似STRIDE）AI系統(tǒng)的威脅建模方法論（類似STRIDE）確定目標(biāo)系統(tǒng)確定目標(biāo)系統(tǒng)確定系統(tǒng)的安全屬性2系統(tǒng)架構(gòu)梳理系統(tǒng)、關(guān)鍵部件和交互外部依賴關(guān)鍵資產(chǎn)識(shí)別（安全、隱私）4威脅識(shí)別確定威脅來源確定對(duì)資產(chǎn)的影響/資產(chǎn)的脆弱性式1目標(biāo)定義3資產(chǎn)識(shí)別5脆弱性識(shí)別AI系統(tǒng)的6維度安全目標(biāo)，以CIA為基礎(chǔ)AI系統(tǒng)的6維