ChatGPT：是崛起的AI攻擊之矛還是萬能的網(wǎng)絡(luò)安全之盾

ChatGPT：是崛起的AI攻擊之矛，還是萬能的網(wǎng)絡(luò)安全之盾什么是ChatGPT和大語言模型ChatGPT是由美國科技創(chuàng)業(yè)公司OpenAI開發(fā)的人工智能聊天機器人，最初是基于GPT-3大語言模型，使用深度學習來產(chǎn)生類似人類的文本，目前ChatGPT底層的大語言模型已經(jīng)進化到GPT-4。

大語言模型指在基于大量文本的數(shù)據(jù)上訓練模型，訓練用的語料樣本最初是從開放的互聯(lián)網(wǎng)獲取，涵蓋了各種類型的網(wǎng)頁內(nèi)容，包括學術(shù)論文、社交媒體帖子、博客、新聞文章等大量的數(shù)據(jù)。

而這些大量的數(shù)據(jù)在攝入時，無法完全過濾所有冒犯性或不準確的內(nèi)容，因此"有爭議的內(nèi)容"很可能包括在其模型中。該模型通過分析不同詞語之間的關(guān)系，并將其轉(zhuǎn)化為概率模型，然后可以給模型一個"提示"，它將根據(jù)其模型中的單詞關(guān)系提供一個在概率上最接近用戶期待的答案。ChatGPT的數(shù)據(jù)邊界問題ChatGPT現(xiàn)在已經(jīng)基本定義了一種新的AI應(yīng)用的工業(yè)范式，即人機交互使用Chatbot聊天模式，后端用大語言模型進行意圖理解和內(nèi)容生成，再結(jié)合API實現(xiàn)多模態(tài)應(yīng)用。

既然是聊天，那么就需要有輸入和輸出。輸入就是“喂”給模型的數(shù)據(jù)，可以是向ChatGPT提出的問題，也可以是向其提供的數(shù)據(jù)資料；輸出則是經(jīng)過模型計算和API調(diào)用后利用模型生成接近用戶期待的內(nèi)容和格式的結(jié)果。

這樣在用戶與ChatGPT對話的過程中，就會把用戶的數(shù)據(jù)上傳給ChatGPT的服務(wù)器，根據(jù)ChatGPT官方的文檔確認，用戶與ChatGPT之間的對話數(shù)據(jù)是會被上傳到OpenAI公司進行存儲，并且將對話數(shù)據(jù)中的用戶個人信息（如姓名、地址、電話等）進行脫敏處理后，可能會被用于模型后續(xù)的迭代訓練，以提升產(chǎn)品效果，但這個過程并不會自動被執(zhí)行。

ChatGPT目前沒有提供類似GoogleAssistant、Siri、AmazonAlexa和MicrosoftCortana這類聊天機器人應(yīng)用中的“隱私模式”或“無記錄模式”。在這種模式下，用戶可以保證自己的對話內(nèi)容和個人信息不會被記錄或收集。ChatGPT的用戶如果不想其數(shù)據(jù)被利用于ChatGPT的訓練迭代，需要通過向OpenAI提交申請。

介于ChatGPT目前還處于未公開其技術(shù)細節(jié)和數(shù)據(jù)處理流程的狀態(tài)，其對用戶數(shù)據(jù)的使用也沒有得到第三方機構(gòu)進行審計和監(jiān)管，如JPMorgan、Amazon、Verizon、BankofAmerica等一些企業(yè)已經(jīng)禁止其員工在工作時使用ChatGPT，以防止敏感的企業(yè)數(shù)據(jù)泄露，甚至如某些國家已經(jīng)官方宣布基于數(shù)據(jù)隱私安全的考慮，禁止使用ChatGPT。

觀點1：從政策和技術(shù)兩方面保證類ChatGPT應(yīng)用的數(shù)據(jù)邊界安全。面對上述的ChatGPT數(shù)據(jù)邊界問題，目前產(chǎn)品還不能滿足保護數(shù)據(jù)安全性的相關(guān)需求，需要通過加強相關(guān)的安全合規(guī)性立法、進行模型私有化部署和對模型數(shù)據(jù)使用過程進行審計等方法來解決這個問題。

以O(shè)penAI的ChatGPT為例，ChatGPT無法滿足GDPR和《個人信息保護法》中關(guān)于個人信息隱私保護的相關(guān)需求，如用戶無法行使對其個人數(shù)據(jù)的“刪除權(quán)”，這不僅是ChatGPT沒有開放這個功能，在技術(shù)上當個人數(shù)據(jù)經(jīng)過處理進入數(shù)據(jù)集后，往往就丟失了溯源能力，也很難再被單獨找出來刪除。對于部署在國外的服務(wù)器上的類ChatGPT的大語言模型應(yīng)用來說，更是無法滿足《數(shù)據(jù)安全法》對數(shù)據(jù)不出網(wǎng)、不出境和能夠進行有效管控的要求。

從技術(shù)角度考慮，如果要滿足大語言模型應(yīng)用的數(shù)據(jù)安全合規(guī)性，需要在以下幾個方面做出改進：

模型私有化部署：私有化（即本地化）部署是滿足企業(yè)用戶在使用大語言模型應(yīng)用時數(shù)據(jù)不出網(wǎng)、不被濫用的主要方法之一，這個部署包括了提供可以進行模型微調(diào)（Fine-Tuning）在內(nèi)的算力環(huán)境。由于大語言模型的生成效果也取決于訓練時的語料數(shù)據(jù)，在專業(yè)性很強的垂直領(lǐng)域要達到更好的生成效果，也是需要提供語料來優(yōu)化模型，因此大語言模型的私有化部署是讓數(shù)據(jù)在企業(yè)內(nèi)形成內(nèi)部循環(huán)來持續(xù)優(yōu)化模型的可行方法。對于云端提供的大語言模型中數(shù)據(jù)的使用過程進行第三方審計：可以從數(shù)據(jù)的輸入、存儲和使用等環(huán)節(jié)提供第三方的系統(tǒng)來進行數(shù)據(jù)安全合規(guī)性的監(jiān)控和審計。如通過調(diào)用大語言模型提供的API來自己提供Chat接口，并對聊天過程中輸入的數(shù)據(jù)進行合法合規(guī)性審計；在線存儲的用戶對話數(shù)據(jù)必須進行加密存儲；對被用于模型迭代更新的用戶數(shù)據(jù)進行合規(guī)性審計后才可以使用。大語言模型賦能安全攻擊很多文章已經(jīng)討論過大語言模型被用于網(wǎng)絡(luò)滲透攻擊的例子，主要包括以下6個方向：①通過繞過ChatGPT的防御規(guī)則，來欺騙其通過大語言模型生成惡意代碼、生成攻擊腳本；②使用大語言模型快速批量生成社會工程攻擊的文本，如釣魚郵件或者根據(jù)用戶信息生成攻擊字典；③對開源代碼進行自動化漏洞挖掘和漏洞利用測試；④獲得網(wǎng)絡(luò)安全工具使用方法、漏洞信息等多種知識；⑤組合已有的單點攻擊工具，生成更強大的立體化多點攻擊工具；⑥使用大語言模型的編程能力實現(xiàn)代碼混淆和修改實現(xiàn)逃避檢測和免殺。

觀點2：大語言模型賦能攻擊可能引發(fā)新的網(wǎng)絡(luò)入侵潮。大語言模型的自動化生成能力將大大提升安全入侵的效率、降低安全入侵的技術(shù)門檻、提升安全入侵自動化能力、降低高級安全入侵的實施成本，國內(nèi)受到網(wǎng)絡(luò)安全法的震懾，相關(guān)安全事件發(fā)生會受到一定制約，但來自國外的個人和小團體攻擊將有可能迎來一波大幅的提升。

大語言模型對網(wǎng)絡(luò)安全的威脅將大于對網(wǎng)絡(luò)安全的幫助似乎已經(jīng)成為共識。因為大語言模型的自動生成能力可以很容易幫助入侵者把一個想法快速變成一段代碼或者文本。

比如，對于本來需要5-10人花費數(shù)周時間，才能開發(fā)出來具有免殺能力的新型0day惡意代碼，運用大語言模型的自動生成能力，可能通過幾次對話生成，即使是略懂原理的初學者，也能在幾小時內(nèi)完成。從此腳本小子的個人戰(zhàn)力得到極大提升，給企業(yè)帶來威脅的入侵者數(shù)量將出現(xiàn)幾個數(shù)量級上的增長。

ChatGPT通過對Github上大量開源代碼的自動化漏洞挖掘可以讓入侵者以低成本快速掌握多個0day漏洞，尤其在一些不被大范圍使用的專業(yè)性較強的開源系統(tǒng)上的漏洞往往不會被注意，因為這些漏洞挖掘的性價比并不高，但ChatGPT改變了這個規(guī)則，完成這些工作只需要編寫一些自動化的代碼，就可以完全交給ChatGPT進行后續(xù)工作，甚至自動化代碼都可以讓ChatGPT代勞。這讓入侵者可以把挖掘0day漏洞從原來主要聚焦于廣泛使用的開源軟件轉(zhuǎn)向所有開源軟件，這會對一些以前入侵者很少涉足的專業(yè)領(lǐng)域產(chǎn)生極大的潛在安全威脅。

ChatGPT使得使用釣魚郵件進行社會工程攻擊變得更容易、更高效、更不易被發(fā)現(xiàn)。通過AIGC能力能夠快速批量生成不同表達方式的釣魚郵件，并且利用ChatGPT的角色扮演能力，能夠輕易以不同角色的身份來撰寫，這些郵件的內(nèi)容和口吻更加真實，使得分辨難度大大提高。大語言模型賦能安全防御大語言模型的很多能力在賦能安全攻擊和賦能安全防御兩個方面都是相對應(yīng)的，但安全防御與安全攻擊的不同點在于，安全攻擊只要找到任何一個突破點就能夠取得攻擊成果，而安全防御則需要盡可覆蓋所有場景才能夠防御成功。因此大語言模型在自動化生成能力方面對安全防御的加成遠小于對安全攻擊的加成。

大語言模型在以下5個方面對安全防御能力提供了能力加成：

①安全運營管理過程中的代碼生成：包括檢測腳本生成、安全設(shè)備配置策略下發(fā)命令生成、日志范式化正則表達式自動生成，以及檢測腳本代碼在各種不同版本編程語言間的自動化轉(zhuǎn)化、安全配置策略命令在不同品牌安全產(chǎn)品間的自動轉(zhuǎn)換等；②代碼安全：包括針對代碼漏洞、注入點和內(nèi)存泄漏點的自動化檢測和審計，自動化生成代碼安全問題的修復建議；③安全模型訓練數(shù)據(jù)增強：如通過批量產(chǎn)生垃圾郵件、釣魚郵件來增強訓練樣本，批量生成弱口令樣本等；④安全運營知識獲取：包括如獲取安全分析方法、獲取安全分析工具信息、獲取漏洞情報和威脅情報等；⑤自動化安全分析和響應(yīng)：通過大語言模型進行安全運營的多意圖理解，并通過API驅(qū)動接入的安全設(shè)備和系統(tǒng)完成包括安全事件調(diào)查、安全分析腳本推薦、安全事件響應(yīng)劇本生成、攻擊溯源圖生成、攻擊腳本和惡意代碼解讀、威脅情報關(guān)聯(lián)、安全分析總結(jié)和報告生成等。

觀點3：大語言模型賦能安全防御可以幫助專家節(jié)省時間，但沒有賦能安全攻擊更有威力。網(wǎng)絡(luò)安全防御是一種需要進行精確判斷和決策的技術(shù)，大語言模型快速生成的代碼和方案可以幫專家節(jié)省時間，但由于大語言模型在AIGC過程中的“幻化”問題，所以由大語言模型提供的代碼和方案需要經(jīng)過人工驗證其正確性，這對于具有驗證能力的專業(yè)人員來說，大語言模型能夠在一定程度低提高其對安全事件的處理效率。

同樣的“幻化”問題也存在于大語言模型賦能安全入侵中，但一般認為對安全防御水平的驗證難度是高于安全入侵的。安全入侵過程很容易在模擬環(huán)境中被驗證，只要通過返回的信息就可知曉攻擊是否成功，而安全防御則需在靶場中先模擬出各種可能的入侵，才有可能被驗證，這在實戰(zhàn)應(yīng)用中防御效果的驗證難度將會更高。大語言模型競爭催生的安全問題ChatGPT驚艷世界后，引發(fā)了大語言模型領(lǐng)域的全球性競爭，實力大廠、創(chuàng)業(yè)公司等都紛紛入局，這將會帶來兩大方面安全問題：

一是AI廠商為了爭奪大語言模型風口的時機，短時間內(nèi)產(chǎn)生大量AI算力需求，上線大量AI算力平臺，但業(yè)界至今沒有很好解決AI算力平臺的自身安全問題，包括用戶數(shù)據(jù)使用過程中的傳輸、存儲的安全問題，模型訓練和推理過程中的安全問題、算力平臺自身系統(tǒng)和軟件的安全問題等，也缺乏相應(yīng)的安全標準和規(guī)范，將有可能導致大量用戶數(shù)據(jù)被泄露的風險。

二是大語言模型不僅是單一應(yīng)用，通過開放API可以讓大語言模型成為連接萬物的智能大腦，大語言模型的應(yīng)用將會成為平臺級、系統(tǒng)級的龐大應(yīng)用。這就帶來了接入大語言模型的第三方應(yīng)用的接入安全問題、數(shù)據(jù)安全問題，以及第三方應(yīng)用的合規(guī)性問題、防止惡意第三方應(yīng)用接入、第三方應(yīng)用自身安全問題等多種問題。

觀點4：需要盡快推出面向AI算力平臺安全、大語言模型第三方應(yīng)用接入安全相關(guān)的安全標準和規(guī)范以及研發(fā)相關(guān)的安全產(chǎn)品和方案，為大語言模型發(fā)展護航?；诖笳Z言模型的全球性科技競爭由ChatGPT引爆，AI廠家紛紛搶占先