ChatGPT 在威脅檢測領域的應用及潛在風險

ChatGPT在威脅檢測領域的應用及潛在風險事件響應分類和軟件漏洞發(fā)現是大型語言模型成功的兩個領域，盡管誤報很常見。

ChatGPT是一個開創(chuàng)性的聊天機器人，由基于神經網絡的語言模型text-davinci-003提供支持，并在來自互聯網的大型文本數據集上進行訓練。它能夠生成各種樣式和格式的類似人類的文本。ChatGPT可以針對特定任務進行微調，例如回答問題、總結文本，甚至解決與網絡安全相關的問題，例如，生成事件報告或解釋反編譯代碼。安全研究人員和人工智能黑客都對ChatGPT產生了興趣，嘗試探索LLM的弱點，而其他研究人員以及網絡犯罪分子則試圖將LLM引誘到黑暗面，將其設置為產生力工具，用于生成更好的網絡釣魚電子郵件或生成惡意軟件。已經有一些案例表明不法分子已經嘗試利用ChatGPT生成惡意對象，例如，網絡釣魚電子郵件，甚至多態(tài)惡意軟件。安全分析師的許多實驗都在表明，流行的大型語言模型（LLM）ChatGPT可能有助于幫助網絡安全防御者分類潛在的安全事件并發(fā)現代碼中的安全漏洞，即使人工智能（AI）模型沒有專門針對此類活動進行訓練。在對ChatGPT作為事件響應工具的實用程序的分析中，安全分析師發(fā)現ChatGPT可以識別在受感染系統(tǒng)上運行的惡意進程。通過使用Meterpreter和PowerShellEmpire代理感染了一個系統(tǒng)，以對手的角色采取了共同的步驟，然后對系統(tǒng)運行了ChatGPT驅動的惡意程序掃描器。LLM識別出系統(tǒng)上運行的兩個惡意進程，并正確忽略了137個良性進程，利用ChatGPT在很大程度上減少了開銷。安全研究人員也在研究通用語言模型如何在特定的防御相關任務上執(zhí)行。去年12月，數字取證公司CadoSecurity使用ChatGPT分析來自真實安全事件的JSON數據創(chuàng)建了黑客入侵的時間表，從而生成了一份很好的但并不完全準確的報告。安全咨詢公司NCCGroup則嘗試使用ChatGPT作為查找代碼漏洞的一種方式，雖然ChatGPT確實做到了，但漏洞識別并不總是很準確。從實際的使用來看，安全分析師，開發(fā)人員和逆向工程師在使用LLM時需要小心，特別是對于超出其能力范圍的任務。安全咨詢公司NCCGroup的首席科學家ChrisAnley說，“我絕對認為專業(yè)開發(fā)人員和其他使用代碼開展工作的人應該探索ChatGPT和類似的模型，但更多的是為了靈感，而不是絕對正確的事實結果，”他說，并補充說“安全代碼審查不是我們應該使用ChatGPT的事情，所以期望它第一次就完美是不公平的?！笔褂肁I分析IoC安全和威脅研究通常會以報告、演示文稿、博客文章、推文和其他類型的內容的形式公開披露其調查結果（對手指標、戰(zhàn)術、技術和程序）。因此，我們最初決定檢查ChatGPT對威脅研究的了解，以及它是否可以幫助識別簡單的、眾所周知的對手工具，如Mimikatz和快速反向代理，并發(fā)現常見的重命名策略。輸出看起來很有希望！那么對于經典的入侵指標，例如眾所周知的惡意哈希和域名ChatGPT能回答正確嗎？不幸的是，在我們的快速實驗中，ChatGPT無法產生令人滿意的結果：它未能識別Wannacry的知名哈希值（哈希：5bef35496fcbdbe841c82f4d1ab8b7c2).對于多個APT活動使用的域名，ChatGPT生成了一個基本相同的域名列表并提供了APT攻擊者的描述，我們可能對有些域名一無所知？至于FIN7使用的域名，chatGPT正確地將它們歸類為惡意域名，盡管它給出的原因是，“域名很可能是試圖欺騙用戶相信它是一個合法的域名”，而不是有眾所周知的入侵指標。雖然最后一個針對模仿知名網站域名的實驗給出了一個有趣的結果，但還需要更多的研究：很難說為什么ChatGPT對基于主機的安全事件產生的結果要比對域名和哈希等簡單指標的結果更好。某些過濾器可能已應用于訓練數據集，或者如果以不同的方式構建問題本身（定義良好的問題就是解決了一半的問題！）無論如何，由于對基于主機的安全事件的響應看起來更有希望，我們指示ChatGPT編寫一些代碼來從測試Windows系統(tǒng)中提取各種元數據，然后詢問元數據是否是泄露的指標：某些代碼片段比其他代碼片段更方便使用，因此我們決定繼續(xù)手動開發(fā)此PoC：我們篩選了ChatGPT的回答中包含有關存在入侵指標為“yes”的語句的事件輸出，添加了異常處理程序和CSV報告，修復了小錯誤，并將代碼片段轉換為單獨的cmdlet，這樣就產生了一個簡單的IoC安全掃描器HuntWithChatGPT.psm1，能夠通過WinRM掃描遠程系統(tǒng)：Get-ChatGPTIoCScanResults

-apiKey

OpenAIAPIkey/docs/api-reference/authentication

-SkipWarning[]

-Path

-IoCOnly[]

ExportonlyIndicatorsofcompromise

-ComputerName

RemoteComputer'sName

-Credential

RemoteComputer'scredentials我們用Meterpreter和PowerShellEmpire代理感染了目標系統(tǒng)，并模擬了一些典型的攻擊程序。在針對目標系統(tǒng)執(zhí)行掃描程序時，它會生成一個包含ChatGPT結論的掃描報告：在137個良性進程中正確識別了兩個惡意運行的進程，沒有任何誤報。請注意，ChatGPT提供了它得出元數據是泄露指標的結論的原因，例如“命令行正在嘗試從外部服務器下載文件”或“它正在使用”-epbypass“標志，該標志告訴PowerShell繞過通常存在的安全檢查”。對于服務安裝事件，我們稍微修改了問題，引導ChatGPT“一步一步地思考”，這樣它就會減慢速度并避免認知偏差，正如Twitter上的多位研究人員所建議的那樣：下面的Windows服務名稱“$ServiceName”和下面的LaunchString“$Servicecmd”是妥協(xié)的指示器嗎？請一步一步地思考。ChatGPT成功識別了可疑的服務安裝，沒有出現誤報。它產生了一個有效的假設，即“代碼被用于禁用Windows系統(tǒng)上的日志記錄或其他安全措施”。對于第二項服務，它提供了關于為什么該服務應被歸類為入侵指標的結論：“這兩條信息表明Windows服務和啟動服務的字符串可能與某種形式的惡意軟件或其他惡意活動相關聯，因此應被視為入侵指標”。在相應的PowerShellcmdletsGet-ChatGPTSysmonProcessCreationIoC和Get-ChatGPTProcessCreationIoC的幫助下，分析了Sysmon和Security日志中的進程創(chuàng)建事件。最后報告強調，有些事件是惡意的：ChatGPT在ActiveX代碼中識別出可疑模式：“命令行包括啟動新進程（svchost.exe）和終止當前進程（rundll32.exe）的命令”。正確地描述了lsass進程轉儲嘗試：“a.exe正在使用提升的權限運行，并使用lsass（代表本地安全機構子系統(tǒng)服務）作為其目標;最后，dbg.dmp表示在運行調試程序時正在創(chuàng)建內存轉儲”。正確檢測到Sysmon驅動程序卸載：“命令行包括卸載系統(tǒng)監(jiān)視驅動程序的說明”。在檢查PowerShell腳本塊時，我們修改了問題，不僅檢查指標，還檢查是否存在混淆技術：以下PowerShell腳本是否經過模糊處理或包含入侵指標？“$ScriptBlockText”ChatGPT不僅能夠檢測到混淆技術，還列舉了一些XOR加密，Base64編碼和變量替換。當然，這個工具并不完美，可以同時產生誤報或漏報。在下面這個例子中，ChatGPT沒有檢測到通過SAM注冊表轉儲系統(tǒng)憑據的惡意活動行為，而在另一個示例中，將lsass.exe進程描述為可能表明“惡意活動或安全風險，例如系統(tǒng)上運行的惡意軟件”：這個實驗的一個有趣的結果是數據集中的數據縮減。在測試系統(tǒng)上模擬對手后，分析師要驗證的事件數顯著減少：請注意，測試是在新的非生產系統(tǒng)上執(zhí)行的。如果是生產系統(tǒng)可能會產生更多的誤報。實驗結論在上面的實驗中，安全分析師開展的實驗始于向ChatGPT詢問幾種黑客工具，如Mimikatz和FastReverseProxy。AI模型成功地描述了這些工具，但是當被要求識別眾所周知的哈希和域名時，ChatGPT失敗了，沒有正確描述。例如，LLM無法識別WannaCry惡意軟件的已知哈希值。然而，識別主機上惡意代碼的相對成功使得安全分析師嘗試要求ChatGPT創(chuàng)建一個PowerShell腳本，目的是為了從系統(tǒng)中收集元數據和入侵指標，并將其提交給LLM?？傮w而言，安全分析師使用ChatGPT分析了測試系統(tǒng)上3500多個事件的元數據，發(fā)現了74個潛在的入侵指標，其中17個是誤報。該實驗表明，ChatGPT可用于為那些在未運行端點檢測和響應（EDR）系統(tǒng)、檢測代碼混淆或逆向工程代碼二進制文件的公司收集取證信息。雖然IoC掃描的確切實施目前可能不是一個非常具有成本效益的解決方案，每個主機大約15-25美元，但它顯示了有趣的中性結果，并揭示了未來研究和測試的機會。我們在研究過程中注意到如下幾個ChatGPT作為安全分析師生產力工具的領域：系統(tǒng)檢查入侵指標，尤其是在您仍然沒有充滿檢測規(guī)則的EDR并且需要執(zhí)行一些數字取證和事件響應（DFIR）的情況下;將當前基于簽名的規(guī)則集與ChatGPT輸出進行比較以識別差距—總有一些技術或程序是您作為分析師不知道或忘記為其創(chuàng)建簽名的。檢測代碼混淆;相似性檢測：將惡意軟件二進制文件提供給ChatGPT，并嘗試詢問它是否有新的二進制文件與其他二進制文件相似。正確提出問題就已經解決了一半的問題，試驗問題和模型參數中的各種語句可能會產生更有價值的結果，即使對于哈希和域名也是如此。此外，要當心這可能產生的誤報和漏報。因為歸根結底的說，這只是另一個容易產生意外結果的統(tǒng)計神經網絡。合理使用和隱私規(guī)則需要澄清類似的實驗還提出了一些關于提交給OpenAI的ChatGPT系統(tǒng)的數據的關鍵問題。公司已經開始反對使用互聯網上的信息創(chuàng)建數據集，ClearviewAI和StabilityAI等公司面臨訴訟，試圖減少其機器學習模型的使用。隱私是另一個問題。NCCGroup的Anley說，“安全專業(yè)人員必須確定提交的入侵